# AI大モデル：エンジニアリングの問題が引き起こした革命先月、AI界で「動物大戦」が巻き起こりました。一方はMetaが発表したLlamaシリーズモデルで、オープンソースの特性から開発者に人気があります。日本のNEC社はLlamaの論文とコードに基づいて迅速に日本語版ChatGPTを開発し、日本のAI分野における技術的なボトルネックを解決しました。もう一方はFalconという大規模モデルです。今年の5月にFalcon-40Bが登場し、一気にLlamaを超えて「オープンソース大規模言語モデルランキング」のトップに立ちました。このランキングはオープンソースコミュニティHugging Faceによって作成され、LLMの能力を評価するための基準を提供しています。その後、LlamaとFalconが交互にランキングを更新しています。9月初、Falconは180Bバージョンをリリースし、再びランキングの頂点に立ちました。興味深いことに、Falconの開発者はテクノロジー企業ではなく、アブダビにあるテクノロジーイノベーション研究所です。UAEの官僚は、彼らがAI競争に参加するのは、既存の構図を覆すためだと述べました。現在、AI分野は百家争鳴の段階に入っています。一定の実力を持つ国や企業は、皆自国版のChatGPTを作ろうと試みています。湾岸諸国だけでも複数のプレーヤーがおり、サウジアラビアは最近、国内の大学に3000以上のH100チップを調達してLLMのトレーニングに使用しています。ある投資家は感慨深く言った:「かつてインターネットのビジネスモデルの革新を軽視し、障壁がないと思っていた。しかし、ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦いであるとは思わなかった...」元々は高難度のハードテクノロジーだと考えられていたが、なぜ「一国一模」の状況に変わったのか？## トランスフォーマー:AI革命のエンジンアメリカのスタートアップ、中国のテクノロジー大手、中東の石油大亨が次々と大規模モデルの研究開発に乗り出しているのは、一篇の有名な論文《Attention Is All You Need》に起因している。2017年、8人のGoogleの科学者がこの論文でTransformerアルゴリズムを公開しました。この論文は現在、AIの歴史の中で引用数が3番目に多い記事であり、Transformerの登場はこのAIブームを引き起こしました。現在のさまざまな大規模モデル、特に世界を驚かせたGPTシリーズは、Transformerを基盤に構築されています。これまで、「機械に読書を教える」ことは学界で公認の難題でした。画像認識とは異なり、人間は文脈を結びつけて理解します。初期の神経ネットワークは長文を処理するのが難しく、「開水間」が「open water room」と翻訳されるといった問題が頻繁に発生しました。2014年、グーグルの科学者イリヤが初めて循環神経ネットワーク(RNN)を用いて自然言語を処理し、グーグル翻訳の性能を大幅に向上させました。RNNは「循環設計」によって神経ネットワークに文脈を理解する能力を与えます。しかし、RNNには深刻な欠陥があります。順次計算により効率が低下し、大量のパラメータを処理することが困難です。2015年から、Googleの科学者であるシャザールらはRNNの代替品の開発に着手し、最終的にTransformerを発表しました。RNNと比べて、Transformerには二つの大きな革新があります。一つは位置エンコーディングを使用して並列計算を実現し、トレーニング効率を大幅に向上させたことです。もう一つは、文脈理解能力をさらに強化したことです。Transformerは多くの課題を一挙に解決し、NLP分野の主流のソリューションとなりつつあります。それは、大規模モデルを理論研究から純粋な工学的問題へと変換しました。2019年、OpenAIはTransformerに基づいてGPT-2を開発しました。それに応じて、Googleはすぐに性能がさらに強化されたMeenaを発表しました。Meenaは、単にパラメータと計算能力でGPT-2を大幅に上回っており、基盤となるアルゴリズムの革新はありませんでした。これにより、Transformerの作者であるシャーゼルは「暴力的な積み重ね」の力に驚嘆しました。トランスフォーマーが登場した後、学界の基礎アルゴリズムの革新速度が鈍化しました。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争における重要な要素となっています。一定の技術力を持つ企業であれば、大規模モデルを開発できるようになっています。AIの専門家であるアンドリュー・ングは、AIが電力やインターネットに似た一連の汎用技術ツールになったと考えています。OpenAIは依然としてLLMのリーダーですが、業界の分析によると、GPT-4の優位性は主にエンジニアリングソリューションに起因しています。一度オープンソース化されれば、競争相手は迅速に模倣することができます。近い将来、他の大手テクノロジー企業もGPT-4と同等の性能を持つ大規模モデルを構築できると予想されています。## 壊れやすい堀現在、「百模戦争」は現実となりました。報告によると、今年7月までに中国の大規模モデルの数は130に達し、アメリカの114を超えました。国内のテクノロジー企業が名付けるには、さまざまな神話や伝説はもはや不十分です。中米を除いて、多くの先進国も「一国一モデル」を初めて実現しました。日本、アラブ首長国連邦、インド、韓国などが次々と自国の大モデルを発表しています。この様子はまるでインターネットバブル時代に戻ったかのようで、「資金を焼く」ことが主要な競争手段となっています。Transformerは大規模モデルを純粋な工学的問題に変え、人力と物力さえあれば開発できる。しかし、参入は容易でも、AI時代の巨頭になるのは非常に難しい。前文に言及した「動物バトル」は典型的なケースです：FalconはランキングでLlamaを上回っていますが、Metaへの影響は限られています。企業のオープンソース研究成果は、技術の恩恵を共有するだけでなく、社会の知恵を引き出すことも期待されています。さまざまな分野でLlamaが改善されるにつれて、Metaはその成果を自社の製品に応用できるようになります。オープンソースの大規模モデルにとって、活発な開発者コミュニティが核心的な競争力です。Metaは2015年にAIラボを設立した際にオープンソース方針を定めました。ザッカーバーグは「良好なパブリックリレーションを築く」ことの重要性をよく理解しています。10月、Metaは「AI版クリエイターインセンティブ」プログラムを開始し、Llama 2を使用して社会問題を解決する開発者を支援しました。現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。10月初めの時点で、Hugging Faceのランキング上位10のうち8つはLlama 2に基づいて開発されており、そのオープンソースプロトコルを使用したLLMは1500以上です。性能向上は確かに重要ですが、現在ほとんどのLLMはGPT-4とまだ明らかな差があります。最新のAgentBenchテストでは、GPT-4が4.41点で首位に立ち、2位のClaudeはわずか2.77点、オープンソースのLLMは多くが1点前後です。GPT-4はリリースから半年以上が経過し、世界の同行は未だに追いつくことが難しいです。これはOpenAIのトップクラスの科学者チームと長年のLLM研究の経験に起因しています。見えるように、大規模モデルの核心能力はエコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)にあり、単なるパラメータの積み重ねではありません。オープンソースコミュニティが活発になるにつれて、各LLMのパフォーマンスは類似のモデルアーキテクチャとデータセットを使用するため、収束する可能性があります。より直感的な問題は、Midjourneyを除いて、他の大きなモデルが利益を上げることができていないようだ。## 価値のアンカー今年8月、"OpenAIは2024年末に破産する可能性がある"という記事が注目を集めました。主なポイントは、OpenAIの資金消耗があまりにも早いということです。記事では、ChatGPTを開発して以来、OpenAIの損失が急速に拡大し、2022年には約5.4億ドルの損失を出し、マイクロソフトの投資に依存せざるを得なくなったと述べています。これは、大規模モデル提供者が一般的に直面しているジレンマを反映しています: コストと収益の深刻な不均衡。高騰するコストのため、現在の主要な恩恵を受けているのはNVIDIAやブロードコムなどのチップメーカーです。推定によれば、NVIDIAは今年の第2四半期に30万枚以上のH100 AIチップを販売し、その重量はボーイング747に相当する4.5機分です。NVIDIAの業績は854%急増し、ウォール街を驚かせました。H100の中古価格は4万〜5万ドルにまで高騰しており、製造コストは3000ドル以上に過ぎません。計算力コストは業界の発展の障害となっています。セコイア・キャピタルの試算によると、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ構築に費やしますが、大規模モデルの年間収入は最大で750億ドルで、少なくとも1250億ドルのギャップがあります。例外を除いて、ほとんどのソフトウェア会社は巨額のコストを費やした後も利益モデルを見つけられていません。業界のリーダーであるマイクロソフトやアドビでさえ、課題に直面しています。マイクロソフトとOpenAIが共同開発したGitHub Copilotは、月額10ドルの料金がかかるが、実際には20ドルの赤字を出している。ヘビーユーザーは、マイクロソフトに毎月80ドルの損失をもたらすこともある。新しく登場したMicrosoft 365 Copilotの価格は30ドルで、損失はさらに大きくなる可能性がある。AdobeはFirefly AIツールを発表した後、すぐにポイントシステムを導入し、ユーザーの過度な使用による会社の損失を制限しました。毎月の配分ポイントを超えると、Adobeはサービスの速度を低下させます。マイクロソフトとAdobeは、明確なビジネスシーンと多数の有料ユーザーを持っています。一方で、多くのパラメータが山のように積み重なった大規模モデルの最大の利用シーンは、依然としてチャットです。OpenAIとChatGPTの登場はこのAI革命を引き起こしましたが、現段階で大規模モデルのトレーニングの価値には疑問が残ります。同質化競争が激化し、オープンソースモデルが増える中、単純な大規模モデルプロバイダーのスペースはさらに圧縮される可能性があります。iPhone 4の成功は45nmプロセスのA4プロセッサーにあるのではなく、《植物対ゾンビ》や《怒りの鳥》をプレイできることにあります。
AI大モデルの競争が白熱化：技術的障壁がドロップし、ビジネス上の課題が浮き彫りに
AI大モデル：エンジニアリングの問題が引き起こした革命
先月、AI界で「動物大戦」が巻き起こりました。
一方はMetaが発表したLlamaシリーズモデルで、オープンソースの特性から開発者に人気があります。日本のNEC社はLlamaの論文とコードに基づいて迅速に日本語版ChatGPTを開発し、日本のAI分野における技術的なボトルネックを解決しました。
もう一方はFalconという大規模モデルです。今年の5月にFalcon-40Bが登場し、一気にLlamaを超えて「オープンソース大規模言語モデルランキング」のトップに立ちました。このランキングはオープンソースコミュニティHugging Faceによって作成され、LLMの能力を評価するための基準を提供しています。その後、LlamaとFalconが交互にランキングを更新しています。
9月初、Falconは180Bバージョンをリリースし、再びランキングの頂点に立ちました。興味深いことに、Falconの開発者はテクノロジー企業ではなく、アブダビにあるテクノロジーイノベーション研究所です。UAEの官僚は、彼らがAI競争に参加するのは、既存の構図を覆すためだと述べました。
現在、AI分野は百家争鳴の段階に入っています。一定の実力を持つ国や企業は、皆自国版のChatGPTを作ろうと試みています。湾岸諸国だけでも複数のプレーヤーがおり、サウジアラビアは最近、国内の大学に3000以上のH100チップを調達してLLMのトレーニングに使用しています。
ある投資家は感慨深く言った:「かつてインターネットのビジネスモデルの革新を軽視し、障壁がないと思っていた。しかし、ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦いであるとは思わなかった...」
元々は高難度のハードテクノロジーだと考えられていたが、なぜ「一国一模」の状況に変わったのか？
トランスフォーマー:AI革命のエンジン
アメリカのスタートアップ、中国のテクノロジー大手、中東の石油大亨が次々と大規模モデルの研究開発に乗り出しているのは、一篇の有名な論文《Attention Is All You Need》に起因している。
2017年、8人のGoogleの科学者がこの論文でTransformerアルゴリズムを公開しました。この論文は現在、AIの歴史の中で引用数が3番目に多い記事であり、Transformerの登場はこのAIブームを引き起こしました。
現在のさまざまな大規模モデル、特に世界を驚かせたGPTシリーズは、Transformerを基盤に構築されています。
これまで、「機械に読書を教える」ことは学界で公認の難題でした。画像認識とは異なり、人間は文脈を結びつけて理解します。初期の神経ネットワークは長文を処理するのが難しく、「開水間」が「open water room」と翻訳されるといった問題が頻繁に発生しました。
2014年、グーグルの科学者イリヤが初めて循環神経ネットワーク(RNN)を用いて自然言語を処理し、グーグル翻訳の性能を大幅に向上させました。RNNは「循環設計」によって神経ネットワークに文脈を理解する能力を与えます。
しかし、RNNには深刻な欠陥があります。順次計算により効率が低下し、大量のパラメータを処理することが困難です。2015年から、Googleの科学者であるシャザールらはRNNの代替品の開発に着手し、最終的にTransformerを発表しました。
RNNと比べて、Transformerには二つの大きな革新があります。一つは位置エンコーディングを使用して並列計算を実現し、トレーニング効率を大幅に向上させたことです。もう一つは、文脈理解能力をさらに強化したことです。
Transformerは多くの課題を一挙に解決し、NLP分野の主流のソリューションとなりつつあります。それは、大規模モデルを理論研究から純粋な工学的問題へと変換しました。
2019年、OpenAIはTransformerに基づいてGPT-2を開発しました。それに応じて、Googleはすぐに性能がさらに強化されたMeenaを発表しました。Meenaは、単にパラメータと計算能力でGPT-2を大幅に上回っており、基盤となるアルゴリズムの革新はありませんでした。これにより、Transformerの作者であるシャーゼルは「暴力的な積み重ね」の力に驚嘆しました。
トランスフォーマーが登場した後、学界の基礎アルゴリズムの革新速度が鈍化しました。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争における重要な要素となっています。一定の技術力を持つ企業であれば、大規模モデルを開発できるようになっています。
AIの専門家であるアンドリュー・ングは、AIが電力やインターネットに似た一連の汎用技術ツールになったと考えています。
OpenAIは依然としてLLMのリーダーですが、業界の分析によると、GPT-4の優位性は主にエンジニアリングソリューションに起因しています。一度オープンソース化されれば、競争相手は迅速に模倣することができます。近い将来、他の大手テクノロジー企業もGPT-4と同等の性能を持つ大規模モデルを構築できると予想されています。
壊れやすい堀
現在、「百模戦争」は現実となりました。報告によると、今年7月までに中国の大規模モデルの数は130に達し、アメリカの114を超えました。国内のテクノロジー企業が名付けるには、さまざまな神話や伝説はもはや不十分です。
中米を除いて、多くの先進国も「一国一モデル」を初めて実現しました。日本、アラブ首長国連邦、インド、韓国などが次々と自国の大モデルを発表しています。この様子はまるでインターネットバブル時代に戻ったかのようで、「資金を焼く」ことが主要な競争手段となっています。
Transformerは大規模モデルを純粋な工学的問題に変え、人力と物力さえあれば開発できる。しかし、参入は容易でも、AI時代の巨頭になるのは非常に難しい。
前文に言及した「動物バトル」は典型的なケースです：FalconはランキングでLlamaを上回っていますが、Metaへの影響は限られています。
企業のオープンソース研究成果は、技術の恩恵を共有するだけでなく、社会の知恵を引き出すことも期待されています。さまざまな分野でLlamaが改善されるにつれて、Metaはその成果を自社の製品に応用できるようになります。
オープンソースの大規模モデルにとって、活発な開発者コミュニティが核心的な競争力です。
Metaは2015年にAIラボを設立した際にオープンソース方針を定めました。ザッカーバーグは「良好なパブリックリレーションを築く」ことの重要性をよく理解しています。10月、Metaは「AI版クリエイターインセンティブ」プログラムを開始し、Llama 2を使用して社会問題を解決する開発者を支援しました。
現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。10月初めの時点で、Hugging Faceのランキング上位10のうち8つはLlama 2に基づいて開発されており、そのオープンソースプロトコルを使用したLLMは1500以上です。
性能向上は確かに重要ですが、現在ほとんどのLLMはGPT-4とまだ明らかな差があります。最新のAgentBenchテストでは、GPT-4が4.41点で首位に立ち、2位のClaudeはわずか2.77点、オープンソースのLLMは多くが1点前後です。
GPT-4はリリースから半年以上が経過し、世界の同行は未だに追いつくことが難しいです。これはOpenAIのトップクラスの科学者チームと長年のLLM研究の経験に起因しています。
見えるように、大規模モデルの核心能力はエコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)にあり、単なるパラメータの積み重ねではありません。
オープンソースコミュニティが活発になるにつれて、各LLMのパフォーマンスは類似のモデルアーキテクチャとデータセットを使用するため、収束する可能性があります。
より直感的な問題は、Midjourneyを除いて、他の大きなモデルが利益を上げることができていないようだ。
価値のアンカー
今年8月、"OpenAIは2024年末に破産する可能性がある"という記事が注目を集めました。主なポイントは、OpenAIの資金消耗があまりにも早いということです。
記事では、ChatGPTを開発して以来、OpenAIの損失が急速に拡大し、2022年には約5.4億ドルの損失を出し、マイクロソフトの投資に依存せざるを得なくなったと述べています。
これは、大規模モデル提供者が一般的に直面しているジレンマを反映しています: コストと収益の深刻な不均衡。
高騰するコストのため、現在の主要な恩恵を受けているのはNVIDIAやブロードコムなどのチップメーカーです。
推定によれば、NVIDIAは今年の第2四半期に30万枚以上のH100 AIチップを販売し、その重量はボーイング747に相当する4.5機分です。NVIDIAの業績は854%急増し、ウォール街を驚かせました。H100の中古価格は4万〜5万ドルにまで高騰しており、製造コストは3000ドル以上に過ぎません。
計算力コストは業界の発展の障害となっています。セコイア・キャピタルの試算によると、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ構築に費やしますが、大規模モデルの年間収入は最大で750億ドルで、少なくとも1250億ドルのギャップがあります。
例外を除いて、ほとんどのソフトウェア会社は巨額のコストを費やした後も利益モデルを見つけられていません。業界のリーダーであるマイクロソフトやアドビでさえ、課題に直面しています。
マイクロソフトとOpenAIが共同開発したGitHub Copilotは、月額10ドルの料金がかかるが、実際には20ドルの赤字を出している。ヘビーユーザーは、マイクロソフトに毎月80ドルの損失をもたらすこともある。新しく登場したMicrosoft 365 Copilotの価格は30ドルで、損失はさらに大きくなる可能性がある。
AdobeはFirefly AIツールを発表した後、すぐにポイントシステムを導入し、ユーザーの過度な使用による会社の損失を制限しました。毎月の配分ポイントを超えると、Adobeはサービスの速度を低下させます。
マイクロソフトとAdobeは、明確なビジネスシーンと多数の有料ユーザーを持っています。一方で、多くのパラメータが山のように積み重なった大規模モデルの最大の利用シーンは、依然としてチャットです。
OpenAIとChatGPTの登場はこのAI革命を引き起こしましたが、現段階で大規模モデルのトレーニングの価値には疑問が残ります。同質化競争が激化し、オープンソースモデルが増える中、単純な大規模モデルプロバイダーのスペースはさらに圧縮される可能性があります。
iPhone 4の成功は45nmプロセスのA4プロセッサーにあるのではなく、《植物対ゾンビ》や《怒りの鳥》をプレイできることにあります。