Attention Is All You Need
『Attention Is All You Need』[1](日本語訳: 『注意こそはすべて』)は、Googleで働く8人の科学者によって執筆された、2017年の機械学習における画期的な学術出版研究論文である[2][3]。
概要
[編集]この論文は、Bahdanauらが2014年に提案した注意機構に基づく、トランスフォーマーとして知られる新しいディープラーニングアーキテクチャを導入した[4]。トランスフォーマーのアプローチは、GPTに基づくもののような大規模言語モデルの主要なアーキテクチャとなっているため、現代の人工知能における基礎的な論文とみなされている[5][6][7]。当時、研究の焦点は機械翻訳のためのSeq2seq技術の改善にあったが、著者たちは論文中でさらに進んで、質問応答や、現在マルチモーダル生成AIとして知られるものなど、他のタスクへのこの技術の潜在的な可能性を予見している[1]。
論文のタイトルは、ビートルズの楽曲「All You Need Is Love」（「愛こそはすべて」）のオマージュである[8]。「トランスフォーマー」という名称は、著者の一人であるUszkoreitがこの単語の音を気に入ったため選ばれた[9]。
本アーキテクチャの初期の設計文書は"Transformers: Iterative Self-Attention and Processing for Various Tasks"と題されており、アニメ番組『トランスフォーマー』の6人のキャラクターのイラストが含まれていた。チームはチーム・トランスフォーマーと名付けられた[8]。
チームがトランスフォーマーアーキテクチャを試した初期の例には、英語からドイツ語への翻訳、「トランスフォーマー」に関するウィキペディアの記事の生成、構文解析などが含まれていた。これらの試みは、トランスフォーマーが翻訳だけでなく汎用言語モデルであることをチームに確信させた[9]。
2024年現在[update]この論文は10万回以上引用されている[10]。
著者
[編集]論文の著者は、Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhinである。8人の著者は全員、論文に「同等に貢献」しており、記載されている順番はランダムに決定された。Wiredの記事は、グループの多様性を強調している[8]。
8人の著者のうち6人は米国以外で生まれ、残りの2人はそれぞれ、一時的にカリフォルニアに滞在していたグリーンカード保持者のドイツ人の子供と、迫害から逃れてきた家族を持つ第一世代のアメリカ人である。
2023年までに、8人全員がGoogleを退社し、それぞれが独自のAIスタートアップを設立した（OpenAIに参加したŁukasz Kaiserを除く）[8][10]。Llion JonesはSakana AIを創業した。
歴史的背景
[編集]![[icon]](/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:OOjs_UI_icon_language-ltr-progressive.svg){kind=icon} |
出典
[編集]- ^ a b Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). “Attention is All you Need”. Advances in Neural Information Processing Systems (Curran Associates, Inc.) 30.
- ^ Love, Julia (2023年7月10日). “AI Researcher Who Helped Write Landmark Paper Is Leaving Google”. Bloomberg News. 2024年10月1日閲覧。
- ^ Goldman, Sharon (2024年3月20日). “'Attention is All You Need' creators look beyond Transformers for AI at Nvidia GTC: 'The world needs something better'”. VentureBeat. 2024年10月1日閲覧。
- ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (19 May 2016). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL]。
- ^ Shinde, Gitanjali; Wasatkar, Namrata; Mahalle, Parikshit (2024-06-06). Data-Centric Artificial Intelligence for Multidisciplinary Applications. CRC Press. p. 75. ISBN 9781040031131
- ^ Toews, Rob (3 September 2023). “Transformers Revolutionized AI. What Will Replace Them?”. Forbes. オリジナルの26 September 2023時点におけるアーカイブ。 2024年10月1日閲覧。
- ^ Murgia, Madhumita (23 July 2023). “Transformers: the Google scientists who pioneered an AI revolution”. Financial Times. オリジナルの2023年12月28日時点におけるアーカイブ。 2024年10月1日閲覧。
- ^ a b c d Levy, Steven. “8 Google Employees Invented Modern AI. Here's the Inside Story” (英語). Wired. ISSN 1059-1028 2024年10月1日閲覧。.
- ^ a b Marche, Stephen (2024-08-23). “Was Linguistic A.I. Created by Accident?” (英語). The New Yorker. ISSN 0028-792X 2024年10月1日閲覧。.
- ^ a b “Meet the $4 Billion AI Superstars That Google Lost”. Bloomberg. (13 July 2023)
外部リンク
[編集]- Uszkoreit, Jakob (August 31, 2017). “Transformer: A Novel Neural Network Architecture for Language Understanding” (英語). research.google. 2024年10月1日閲覧。