技術進化の意外な結果：ゲームと暗号通貨はどのようにして AI の「計算パワーベース」になったのか？

この春、私たちは新世紀以来最大のテクノロジーカーニバルを目撃しました。過去数か月間の人工知能（AI）の発展を「春の雨後のキノコ」と表現するのは控えめな表現だろう。 「ビッグバン」という表現の方が適切かもしれません。業界の専門家であり「最もやる気のある人」として認められている百度の元社長、陸奇博士でさえ、「（論文やコードに）追いつけない。数が多すぎる」と語った。

2022年11月30日を振り返ると、新たな時代への扉が突然開かれました。 OpenAI が ChatGPT をリリースし、AI が AlphaGo の栄光を再現したこと、そして今回はそれがより包括的だったことに人々は驚きました。 GPT-3 に代表される生成型人工知能は包括的な言語処理能力を備えているようですが、MidJourney と Stable Diffusion により、絵画はもはや人間特有の工芸ではなくなりました。その後数か月で、大規模言語モデル (LLM) はよく知られたキーワードとなり、Microsoft、Google、Facebook (Meta) などのインターネット大手が再び注目の的となりました。

国内企業も努力している。 Baiduの「Wenxin Yiyan」、SenseTimeの「Ri Ri Xin」、Alibabaの「Tongyi」、Tencentの「Hunyuan」、Huaweiの「Pangu」が登場した。 5月までに、さまざまな企業や教育研究機関、学校から「新時代のIT基盤の構築」という志を掲げ、30以上の大型モデルが発表された。まさに「毎日産業革命、毎夜ルネサンス」と言えるでしょう。

著作権画像、転載禁止

もちろん、AI の将来には懸念がないわけではありません。ブルームバーグは2023年3月初旬に公開した記事で、Googleの年間総電力消費量の10％から15％がAIプロジェクトによって消費されていると述べた。これはアトランタの50万人が1年間に消費する電力量とほぼ同じです。 International Data Corporation (IDC) によると、AI のエネルギー消費量は現在、世界のエネルギー消費量の約 3% を占めています。 2年後の2025年には、この数字は15%に急上昇し、環境に大きな影響を与えることになります。

この意味で、エネルギーは AI の最初の基盤です。おそらく、AI は人類全体に利益をもたらす前にエネルギーの壁にぶつかるでしょう。

01

これらのエネルギーは AI によってどのように消費されるのでしょうか?

しかし、なぜ AI はこれほど多くの電力を消費するのでしょうか?これには、**もう 1 つの基盤である**コンピューティング能力が関係します。 AI は、特に ChatGPT のようなアプリケーションでは計算集約型のテクノロジーです。大量の計算能力と、当然ながら大量のエネルギーが必要になります。

最近の AI の波は、各ニューロンが独自の調整可能なパラメータを持つ複数の層に分割された人工ニューラル ネットワーク (つまり、ディープ ニューラル ネットワーク) を構築するディープラーニング技術によって推進されています。大規模な言語モデルは、多くの場合、数十億、数百億、あるいはそれ以上のパラメータを意味し、良好な結果が得られることが保証されます。これを踏まえて、モデルに正しい応答方法を教えるには膨大なデータセットも必要です。両方を支えるのは強力なコンピューティング能力です。

**コンピューティング能力、データ、アルゴリズムは AI の 3 つの重要な要素であり、どれも欠かすことはできません。 **ChatGPT は最初にリリースされたとき、GPT-3 モデルに基づいていました。このモデルには 1750 億個のパラメータが含まれており、トレーニングには 45T のデータを使用します。 1 回のトレーニングに必要な計算能力は約 3640 PF 日です。つまり、1 秒あたり 100 兆回の計算能力を持つコンピューティング デバイスを使用すると、1 回のトレーニングを完了するのに 3640 日かかります。

著作権画像、転載禁止

これは単なる訓練です。 AI モデルを現実世界の状況に当てはめて質問に答えたりアクションを実行したりすること (「推論」と呼ばれます) は、トレーニングよりも多くのエネルギーを消費します。チップ大手のNvidiaの推定によると、GPT-3のようなモデルの場合、コストの80%から90%はトレーニングではなく推論に費やされます。

AI のトレーニングと推論に膨大な計算能力が必要な主な理由は、データセットの拡大、パラメータの増加、モデルの収穫逓減の法則の 3 つです。一般的に、データが増えるほど、モデルの学習も進みます。これは人間の学習と同様です。しかし、人間の学習とは異なり、大規模なデータセットで学習を複数回繰り返すと、消費されるエネルギーが急速に増加します。

モデルパラメータが増加すると、人工ニューロン間の接続が指数関数的に増加し、必要な計算量とエネルギーが急増します。以前のテストケースでは、モデルパラメータの数は 4 倍に増加し、エネルギー消費量は 18,000 倍に増加しました。

さらに悪いことに、**モデルは大きければ大きいほど良いわけではなく、コスト効率の問題もあります。 **2019年、米国のアレン人工知能研究所（AI2）の研究者らは、大規模モデルの限界収益の逓減を示す論文を発表しました。2017年にリリースされたResNeXtモデルは、2015年のオリジナルバージョンよりも35％多くの計算能力を必要としましたが、精度はわずか0.5％しか向上しませんでした。

しかし、最適なバランスを見つける前に、人々は計算能力を高めるために懸命に努力しなければなりません。 OpenAIが発表した記事によると、2012年から現在までに人工知能に使用されるコンピューティングの量は30万倍に増加しており、これはAIに使用されるコンピューティングの量が約100日ごとに倍増していることを意味する。

これはおそらくAI時代の新たなムーアの法則でしょう。

02

コンピューティングパワー：AI時代のムーアの法則

1965 年、インテルの共同創設者であるゴードン・ムーアは、集積回路に収容できるトランジスタの数は 2 年ごとに 2 倍になるという経験則を提唱しました。これは、20 年ごとに、同じサイズの集積回路上のトランジスタの数が 1,000 倍に増加することを意味します。 40年ごとに100万倍に増加します。

私たちが今日生きている情報化時代は、ムーアの法則に基づいて構築されています。それはコンピュータ技術の発展にとって重要な原動力となってきました。

ある意味では、ムーアの定義によってもたらされる推進力は「外部」のものだけです。コンピュータ技術の発展には、いくつかの「内部要因」も必要です。それは、人間の本性、つまり遊びから生まれます。

「遊ぶ」ことと「所有する」ことへの欲求は、「人間」という種が誕生する前から、常に私たちの遺伝子に刻み込まれてきました。コンピュータが発明されてから間もなく、ゲームがコンピュータの重要な用途となりました。 1952 年、アメリカのコンピュータ科学者アーサー・サミュエルが IBM コンピュータ上で最初のチェッカー プログラムを作成しました。彼は後に「機械学習」という用語を作り出した。今日では、この用語と「人工知能」が一緒に使われることが多くなりました。 1966 年、アメリカのコンピュータ科学者でチューリング賞受賞者のケン・トンプソンは、自身が開発した「スタートレック」ゲームを引き続きプレイするために、オペレーティング システムを書き、プログラミング言語を設計しました。そのオペレーティング システムは後に Unix になりました。今日では、コンピューター上の Linux および macOS オペレーティング システム、および携帯電話上の Android および iOS オペレーティング システムは、その近縁種と考えることができます。そしてそのプログラミング言語は有名な C 言語です。

著作権画像、転載禁止

1982年にIBMはパーソナルコンピュータ（PC）を発表しました。 PC ゲームの出現は自然な流れでした。ハードウェアの高速化によってソフトウェアの性能が向上し、ソフトウェアの性能向上によってハードウェアのアップグレードが強制され、この 2 つはつる植物のように絡み合っています。 1992年に人気3Dゲーム「Wolfenstein 3D」が発売されました。 3D ゲームでは、画像レンダリング計算の難易度はそれほど高くありませんが、計算速度に対する要求は非常に高くなります。これらのゲームでは、環境とキャラクターは多数のポリゴンを使用して構築されます。頂点の形状と位置は、頂点の 3D 座標によって決まります。グラフィック カードは、これらのモデルをフラット スクリーンに正確に表示する方法を決定するために、多数の頂点に対して行列の乗算と除算を実行する必要があります。次に、各ピクセルの色を決定するために、各ピクセルに対していくつかの計算を実行する必要があります。 3D ゲームでは、プレイヤーが移動するとシーンが変化することが多いため、これらの計算は非常に高速に行う必要があります。

幸いなことに、これらの計算は難しくなく、ほとんどが互いに独立しています。したがって、ディスプレイ専用のグラフィック カードは、これらの並列計算を完了し、データをすばやく転送するのに優れている必要があります。このような要求により、コンピュータ グラフィックス カードのコア グラフィックス プロセッシング ユニット (GPU) は、コンピュータ CPU とは異なる道を歩むようになりました。 GPU は画像処理専用に最適化できます。

新世紀に入って、ムーアの法則が破綻する兆候がますます明らかになってきています。処理技術が物理的限界に近づくにつれて、トランジスタはますます小型化し、製造と統合がますます困難になり、放熱と電源供給がますます問題になってきます。その結果、マルチコアが徐々に主流のソリューションになってきました。 CPU と GPU はどちらもマルチコア化に向かって急速に進んでいます。

そして、ビットコインが登場しました。

ビットコインなどの暗号通貨は、「マイニング」と呼ばれるプロセスで計算されます。マイニングには、1 秒間に数百万回実行される膨大な並列計算能力が必要です。暗号通貨の価格が上昇している昨今、「マイニング」は利益の出るビジネス活動となっている。より多くの富を求めて、熱心な「マイナー」たちは在庫がなくなるまでグラフィック カードを購入することさえあります。そして、そのような需要が、コンピューティング能力の飛躍的進歩に対する需要をさらに刺激しています。

チップメーカーが初めて GPU を開発したとき、何年も後にこれらの「ゲーム機器」が「マイニング」に使用されることをどのように想像したでしょうか?

03

技術独自のアレンジ

これだけではなく、予想外のことがたくさんあります。

2010年、米空軍はソニー製のゲーム機「プレイステーション3」を約2,000台購入した。これはパイロットがゲームをプレイして訓練できるようにするためでしょうか、それとも士官たちは単にゲームをしたいだけでしょうか?

どちらでもない。

物理学者のグアラヴ・カンナ氏による操作の後、これらのゲーム機は相互に接続され、高解像度の衛星画像を処理する専用のスーパーコンピューターになりました。その浮動小数点演算性能は、当時市場にあった最も強力なグラフィック カードの少なくとも 30 倍です。 10 年以上経った今でも、最も強力なコンシューマー グラフィック カードでも、そのパフォーマンスの 1/5 にしか達しません。

これは明らかにソニーとゲーマーが予想していなかったことだ。しかし、理解するのは難しくありません。ゲームコンソールはゲーム用に最適化されており、PlayStation 3 で使用されているチップには独立した CPU と GPU が連携して動作し、8 つのコアで 2 つの機能を実行でき、すべてのコア間で情報を共有できます。

今日では、AI にもこれらの機能が求められています。現在、AIの主な技術はディープラーニングであり、ディープラーニングの基本的な考え方は「コネクショニズム」です。ニューラルネットワーク内の個々のニューロンには知性はありませんが、多数のニューロンが相互に接続されると、知性が「出現」することがよくあります。重要なのは、多数のニューロンと大規模なニューラル ネットワーク スケールを持つことです。モデル機能を向上させるための鍵の 1 つは、ネットワーク スケールの変更です。

**当然ですが、ネットワークが大きくなればなるほど、コンピューティング能力に対する需要が高まります。 **今日の大規模なニューラル ネットワークは、多くの場合、GPU を使用して計算されます。ニューラル ネットワークで使用されるアルゴリズムには、多くの場合、トレーニングの反復ごとに更新される多数のパラメーターが含まれるためです。更新するコンテンツが増えるほど、必要なメモリ帯域幅も大きくなります。GPU の利点の 1 つはメモリ帯域幅です。さらに、ニューラル ネットワークのトレーニング アルゴリズムはニューロン レベルでは比較的独立しており、単純なことが多いため、GPU の並列コンピューティング機能を使用して処理を高速化できます。

著作権画像、転載禁止

これは確かにグラフィック カードが設計された目的ではありません。しかし偶然にも、グラフィック カードは AI 時代のインフラストラクチャになりました。ゲームと暗号通貨は、ある程度、後の AI がそのような「コンピューティング パワー基盤」の基礎を築くのに役立ちました。ある意味、これはテクノロジー自身の配置です。

04

テクノロジーは常に驚きをもたらす

今日、AI は社会と産業の変化を推進し始めています。グラフィック カードがなければ、おそらく AI がこれほど早く私たちの生活に入り込むことはなかったでしょう。グラフィック カードは、特にゲームや暗号通貨の追求など、人々の情熱と革新的精神から生まれました。これはおそらく、少し予想外の始まりだったでしょう。

有名なサイエンスライターのマット・リドリーは、彼の代表作「ボトムアップ」の中で、技術革新は生物の進化と同様、特定の方向性を持たないと述べています。適者生存の期間を経て初めて、最も適した技術が開発され、成長します。 **技術が主流になると、それ自体が改良され続けます。テクノロジーは、独自の発展方向を持つユニークな有機体になったようです。技術が進歩するにつれて、人気の技術が蓄積され続け、開発のペースはますます速くなります。

ケビン・ケリー氏も似たような点を指摘した。 「テクノロジーが求めるもの」の中で、彼は科学技術の発展は直線的ではなく、紆余曲折と繰り返しに満ちているという事実について語りました。科学技術の進化は複雑かつ不確実であることが多く、将来の発展は人々の予想を超えるものとなることがよくあります。

したがって、AI のエネルギー消費問題には予想外の解決策があるかもしれません。現在、精度の低減、モデルの圧縮、モデルの削減などの技術によって、AI の消費電力を削減する試みが始まっています。また、より環境に優しいエネルギーを提供するために、再生可能エネルギー技術の応用も積極的に模索しています。これは確かに良いスタートです。

AI にこの質問を調査させれば、驚くような答えが得られるかもしれません。

著者: マンモス ハルビン理工大学

監査｜テンセントセキュリティ玄武ラボ責任者 ユー・ヤン

この記事の表紙画像と画像は著作権ライブラリから取得しています

画像コンテンツの複製は許可されていません