ネイチャーニュース：AIが人間の数学者を破り、初めて古典的な数学の問題を解く

人工知能（AI）のビッグモデルが人間の数学者に勝利した。

本日Nature誌に発表された論文で、Google DeepMindの研究チームは、数学とコンピューターサイエンスの分野で新たな解決策を探すための「FunSearch」という手法を紹介した。これは、事前にトレーニングされた大規模言語モデル（LLM）と、幻覚や誤った考えを防ぐ自動「評価装置」を組み合わせることで機能する。これら 2 つのコンポーネント間を反復することで、最初のソリューションが新しい知識へと進化します。

この研究は、科学や数学の未解決問題に挑戦するために LLM を利用した初めての研究です。 FunSearch は、数学における長年の未解決問題である上限集合問題に対する新しい解決策を発見しました。さらに、FunSearch の実用性を実証するために、研究者らは FunSearch を使用して、データ センターの効率向上など、さまざまな用途に使用されている「ビン パッキング」問題を解決するためのより効率的なアルゴリズムを発見しました。

科学の進歩は常に、新たな理解を共有する能力に依存してきました。 FunSearch が特に強力な科学ツールである理由は、それが出力するプログラムが、解決策が何であるかだけでなく、その解決策がどのように構築されたかを明らかにする点です。論文の著者らは、「これがFunSearchを使用する科学者のさらなる洞察を刺激し、改善と発見の好循環を促進することを期待する」と述べた。

「FunSearch によって生成されたソリューションは、単なる数字のリストよりも概念がはるかに豊かです」と、ウィスコンシン大学マディソン校の数学教授で共著者のジョーダン・エレンバーグ氏は述べています。 「それらを研究したとき、私は何かを学びました。」

最大上限セットを見つけ、「ビンパッキング」問題を解決する

FunSearch は、LLM を活用した進化的アプローチを使用して、最高得点のアイデアを促進および開発します。これらのアイデアは、自動的に実行および評価できるようにコンピュータ プログラムとして表現されます。

まず、ユーザーは、プログラムを評価するプロセスとプログラム プールを初期化するために使用されるシード プログラムを含む、コードの形式で問題の説明を記述します。

FunSearch は反復的なプロセスです。各反復で、システムは現在のプログラム プールからいくつかのプログラムを選択し、それらを LLM にフィードバックします。 LLM はこれを基に創造的に構築し、自動的に評価される新しいプログラムを生成します。最良のプログラムは既存のプログラムのライブラリに再度追加され、自己改善サイクルが作成されます。

FunSearch は Google の PaLM 2 を使用しますが、他のコードトレーニング済み LLM と互換性があります。

図 | FunSearchのプロセス

この研究は、数十年にわたって複数の研究分野の数学者を悩ませてきた未解決の課題であり、著名な数学者テレンス・タオがかつて自分のお気に入りの未解決問題と表現した「上限集合問題」に焦点を当てた。

問題は、3 つの点が直線上に存在しない高次元グリッド内で、最大の点の集合 (上限集合と呼ばれる) を見つけることです。この問題は、数値、グラフ、またはその他のオブジェクトの集合がどの程度の大きさまたは小ささになり得るかを研究する極限組合せ論における他の問題のモデルとして機能するため重要です。この問題に対する力ずくの計算アプローチは機能せず、考慮する必要がある可能性の数はすぐに宇宙の原子の数よりも多くなります。

図 |シード プログラム (上) から新しい高スコア機能 (下) までの進化を示すインタラクティブ チャート。各円はプログラムであり、そのサイズは割り当てられたスコアに比例します。

しかし、 FunSearch は、いくつかの設定で手続き型の形式でこれまでに発見された中で最大のキャップのセットを発見しました。これは、過去 20 年間でキャップのサイズが最大に増加したことを示しています。さらに、FunSearch は最先端の計算ソルバーよりも優れたパフォーマンスを発揮します。

さらに、研究者らは FunSearch をコンピューター サイエンスの実際的な課題に適用し、FunSearch の柔軟性を調査しました。 「ビンパッキング」問題は、異なるサイズのアイテムを最小の数の箱に詰める方法を検討するもので、多くの現実世界の問題の核心となっています。

それはまだ始まりに過ぎない

さまざまな分野で新しい数学的知識やアルゴリズムを発見することは、最先端の AI システムの能力をはるかに超える、非常に困難な作業です。 FunSearch を使用してこのような困難な問題を解決するために、本研究ではいくつかの重要なコンポーネントを導入しました。

FunSearch は単に問題の解決策を生成するブラック ボックスではないことに注意する必要があります。代わりに、それらの解決策にどのようにして到達したかを説明する手順を生成し、この作業表示方法は科学者が通常行う方法です。

FunSearch は、非常にコンパクトなプログラムによって表されるソリューション、つまりコルモゴロフ複雑度の低いソリューションを見つけることを優先します。短いプログラムで非常に大きなオブジェクトを記述できるため、干し草の山から針を見つけるなどの大きな問題にも FunSearch を拡張できます。さらに、FunSearch のこの機能により、研究者にとってプログラム出力が理解しやすくなります。

さらに重要なのは、FunSearch プログラムのこの解釈可能性により、研究者に実用的な洞察を提供できることです。たとえば、FunSearch を使用すると、高スコアの出力の一部には、コード内に興味深い対称性があります。

図 | FunSearch によって生成されたコードを調べると、さらに実用的な洞察が得られます (左)。左側（右）の（短い）プログラムを使用して構築された元の「許容可能な」セット。

上限セット問題の結果は、直感を構築するのが難しい難しい組み合わせ問題において、FunSearch 手法が確立された結果を上回ることができることを示しています。研究者たちは、このアプローチが組合せ論における同様の理論的問題の新たな発見に役立ち、通信理論などの分野で新たな可能性を切り開くことを期待している。

あるいは、オンライン ビン パッキングなどの難しい組み合わせ問題は、ニューラル ネットワークや強化学習などの他の AI 手法を使用して解決できます。 FunSearch のアプローチも効果的であることが証明されていますが、導入には多くのリソースが必要になることもあります。一方、この方法で出力されたコードは簡単に確認および展開できるため、このソリューションはさまざまな実際の産業システムに組み込んですぐにメリットをもたらす可能性があります。

FunSearch は、LLM の幻想を防ぐことができれば、これらのモデルの力を活用して、新しい数学的発見を生み出すだけでなく、重要な現実世界の問題に対する潜在的に効果的な解決策を明らかにすることもできることを実証しています。

研究チームは、科学や産業における長年にわたる問題から新しい問題まで、多くの問題に対して効率的でカスタマイズされたアルゴリズムを生成するために LLM 主導のアプローチを使用することが一般的な慣行になると予想しています。

実際のところ、これはまだ始まりに過ぎません。 「我々はまた、社会のさまざまな差し迫った科学技術上の課題に対処するために、その能力を拡大するよう努めるつもりだ」と研究者らは述べた。

参考リンク:

https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large- language-models/

https://www.nature.com/articles/s41586-023-06924-6