AIを使ってAIを予測すると、その未来はどうなるでしょうか?

人工知能は、人間がまだ解決できていない問題をどんどん解決し始めており、良い成果を上げています。

しかし、過去数年間で AI 分野における科学研究の量は飛躍的に増加しており、科学者や実務家がこれらの進歩を追跡することが困難になっています。

データによると、機械学習の分野における研究論文の数は 23 か月ごとに 2 倍になっています。その理由の 1 つは、AI が数学、統計、物理学、医学、生化学などのさまざまな分野で活用されていることです。

科学文献から洞察を得て、新しい個別の研究の方向性やアイデアを生み出すツールは、科学の進歩を大幅に加速させる可能性があります。人工知能と他の分野が交差する過程において、どの方向性が意味があり、追求する価値があるかを人々はどのように判断できるのでしょうか?

この目的のため、マックス・プランク光科学研究所（MPL）の人工知能科学者マリオ・クレン氏が率いる国際チームが、「指数関数的に成長する知識ネットワークにおける高品質のリンク予測」に関する研究を発表しました。 「AIによるAIの未来の予測：指数関数的に成長する知識ネットワークにおける高品質なリンク予測」と題された関連研究論文が、プレプリントウェブサイトarXivに掲載されました。

(出典: arXiv)

この研究の目標は、AI 関連の文献を「読んで理解し、行動する」ことができるプログラムを設計し、それによって学際的な研究アイデアを予測および提案する扉を開くことです。研究チームは、長期的にはこれが AI 研究者の生産性を高め、新たな研究の道を切り開き、この分野の進歩につながると考えています。

過去の経験から、一見無関係なトピック/分野の間に新たなつながりを確立することによって、新しい研究アイデアが生まれることが多いことがわかっています。

これをきっかけに、研究チームは AI 文献の進化を時間的ネットワーク モデリング タスクとして定式化し、1994 年以降の AI 文献の内容と進化を記述できるセマンティック ネットワークを作成しました。

研究チームはまた、64,000 個の概念 (ノードとも呼ばれる) とノード間の 1,800 万個の接続を含むネットワークを調査し、そのセマンティック ネットワークを 10 種類の異なる統計および機械学習手法への入力として使用しました。

最も基本的なタスクの 1 つであるセマンティック ネットワークの構築は、Web から知識を抽出し、その後コンピューター アルゴリズムを使用して処理するのに役立ちます。

図｜今回の研究では、研究チームは1992年から2020年までにarXivで公開された人工知能と機械学習に関する論文14万3000件を利用し、RAKEなどのNLPツールを使って概念リストを構築した。これらの概念はセマンティック ネットワークのノードを形成し、論文のタイトルまたは概要に 2 つの概念が一緒に出現するとエッジが描画されます。このようにして、彼らは、時間の経過とともにより多くの概念が一緒に研究される、進化する意味ネットワークを構築しました。最終的な課題は、科学文献で一緒に研究されたことのない、接続されていないノード、つまり概念が、数年以内にどこで接続されるかを予測することです。 (出典: arXiv)

当初、研究チームは、GPT-3やPaLMなどの大規模な言語モデルを使用してそのようなネットワークを作成することを検討しました。しかし、主な課題は、これらのモデルは推論が難しく、新しい概念の組み合わせを特定したり提案したりすることが難しいことです。

そこで彼らは、科学論文に共起する概念から知識ネットワークを作成するという生化学から借用したアプローチに目を向けました。単一の生体分子はノードを表し、論文で 2 つの対応する生体分子について言及されている場合、2 つのノードが接続されます。このアプローチは、シカゴ大学の医学および人類遺伝学の教授であるアンドレイ・ルジェツキー氏とそのチームによって最初に提案されました。

研究チームはこのアプローチを使用して、AI 分野の歴史を記録し、スーパーコンピューター シミュレーションを使用して科学者の集団行動に関する重要なステートメントを抽出し、多数の論文に基づいてこのプロセスを何度も繰り返して、実用的なコンテンツをキャプチャするネットワークを形成しました。

これを基に、研究チームは Science4Cast と呼ばれる新しいベンチマークを開発し、このベンチマークを解決するための 10 種類の方法を提供しました。研究チームは、自分たちの研究が人工知能研究の動向を予測できる新しいツールの構築に役立つと信じている。

これまで、AI や機械学習関連のフォーラムを開くと、必ず「AI の進歩に追いつくこと」が主な議論のトピックとなっていました。

おそらくこの研究は人々のこうしたプレッシャーをいくらか軽減できるだろう。

論文リンク:

https://arxiv.org/pdf/2210.00881.pdf