ドリブル、スティール、パス、シュートが可能な「AIサッカー選手」が誕生

サッカーは肉体的な対決とチームワークを重視する世界的に人気のある球技です。

現実の世界では、サッカーをプレーするかどうか、プレーが上手かどうかに関係なく、人々は「サッカー」という言葉を見る（聞く）たびに漠然とそれについて話すでしょう。

実際、サッカーでこれほど多くのニュースが出るのは珍しいことではありません。

しかし、人工知能（AI）がサッカーのプレーを学習し、かなり上手にプレーするとしたら、それは比較的珍しいことでしょうか？結局のところ、現在の AI は「リンカーンは 500 年前にアメリカ合衆国の大統領でしたか?」といった質問に答えることさえできないことがあります。

英国の人工知能企業ディープマインド社の研究チームは9月1日、ドリブルや体当たりなどの多彩な動作をこなし、正確なシュートを打つことができる「AIサッカー選手」を初めて発表した。

図 | 「AI プレイヤー」が 2 対 2 のゲームをプレイしています (GIF 出典: Science Robotics)

試合にはコーナーキックやペナルティキック、フリーキックなどのセットプレーが存在しないなど、ルールが破られることも時々あるが、研究チームはこの研究によって人工システムが人間レベルのスポーツ知能へと前進したと考えている。

「シミュレーションによるヒューマノイドサッカーにおける運動制御からチームプレーまで」と題された関連研究論文が、科学誌「サイエンス・ロボティクス」に掲載されました。

AIはどうやってサッカーのプレーを学んだのでしょうか?

ご存知のとおり、標準的なサッカーの試合では、2 つのチームがフィールド上で対戦し、それぞれ 10 人の選手と 1 人のゴールキーパーを含む 11 人の選手で対戦します。

ゴールキーパーは自分のペナルティエリア内で手でボールに触れることができますが、他の選手は手以外の体の部分でのみボールに触れることができます（スローインを除く）。ゲームの最終的な目標は、できるだけ多くのボールを相手のゴールに蹴り込むことです。

したがって、実際の試合であれオンラインゲームであれ、サッカーは個人のスキルが試され、チームメンバー間の暗黙の協力が求められるスポーツです。素晴らしいパスや正確なシュートを成功させるのは簡単なことではなく、「人間と動物の両方が直面する多くの問題を解決する必要がある」。

論文によると、DeepMindチームはこの研究でゲームのルールを簡略化し、両チームの選手数を2～3人に制限したが、結果はAI選手がサッカーのルールに関する事前知識なしにキック、ドリブル、シュートなどのスキルを学習し、シミュレーションゲームで2対2および3対3のサッカーの試合を完了できることを示した。

「彼らは、運動能力と高レベルの目標指向行動が緊密に統合された環境で統合制御を達成している」と、論文の共同筆頭著者兼共同責任著者であるシキ・リウ氏と彼のチームは書いている。

図 | 「AIプレイヤー」がドリブル、スティール、パスなどの一連の動作をこなす（グラフィック制作元：サイエンス・ロボティクス）

上記のように、2対2の試合では、レッドチームの選手は走る、プレスする、パスするなどの一連のアクションを完了しました。全体の動作は非常に自然でスムーズであり、圧迫感に満ちていました。

では、どのようにして「サッカー初心者」が「優秀なサッカー選手」に変身したのでしょうか?

その理由は、研究チームが提案した3段階の機械学習フレームワークにあります。

まず、AI プレーヤーは人間のスポーツ ビデオを見て歩き方を学ぶ必要があります。これは、初期の AI プレーヤーはサッカー フィールドで何をすべきか分からないためです。

図 |トレーニング前（GIFソース：Science Robotics）

その後、AI プレーヤーは自分が何をしているのかを理解した後、強化学習アルゴリズムの助けを借りてサッカーのプレーを学習できます。

図 | 3日間のトレーニング後（GIFソース：Science Robotics）

最後に、AI プレイヤーはさらに一歩進んで、別の強化学習アルゴリズムに基づいてチームで作業し、より難しいモーション コントロールを実行する方法を学習しました。

図 | 50日間のトレーニング後（GIFソース：Science Robotics）

トレーニング中の AI プレーヤーが環境報酬を受け取り続け、正しいフィードバックを与えると、サッカーのプレーレベルが向上することがわかります。

「サッカー初心者」から「優秀なサッカー選手」へ、AIがまたもや実力を発揮した。

しかし、まだ十分ではない

チューリング賞受賞者のアレン・ニューウェルは、認知科学と AI の基礎を説明する有名な発言の中で、人間の行動は、数ミリ秒の筋肉のけいれんから数百ミリ秒の認知的意思決定、そして長期的な目標指向の行動まで、複数のレベルの組織化にまたがっていると主張しました。

高レベルの行動は、多くの場合、外部環境や他のエンティティとのより複雑な相互作用に関連付けられています。複数の空間的および時間的スケールでインテリジェントな動作をどのように示すかは、物理的エンティティの人工知能が直面している長期的な課題の 1 つです。

DeepMind チームによるこの研究では、強化学習アルゴリズムなどの AI テクノロジーを通じて、AI プレーヤーに柔軟なモーション制御とマルチエージェント コラボレーション機能を提供しました。これは、マルチエージェント環境でマルチスケールの統合意思決定を学習する方法の優れた例です。

図 |対決と押し合い（GIF 出典: Science Robotics）

もちろん、この研究にも一定の限界はあります。

例えば、ゲームに参加する AI プレイヤーの数は比較的少ないため、現実世界と比較するとまだ一定の複雑さが欠けており、AI がより複雑なサッカーゲームをプレイできるというわけではありません。今後の作業で AI プレイヤーの数が増えれば、より興味深いチーム戦略が生成されるかもしれません。

さらに、時間が短くペースが速いため、AI プレイヤーにはリズムを調整したり、エネルギーを維持したり、フォーメーションを決定したり、より守備的または攻撃的なプレイヤーを交代したりする能力が与えられていません。

さらに研究チームは、彼らの方法はロボットのハードウェア上で直接学習するのには適しておらず、研究成果はシミュレーション世界から現実世界にすぐには転送されないとも述べています。

しかし、研究結果は、複雑な動作戦略を生成するための学習ベースの方法の可能性を実証し、シミュレーショントレーニングで発生するシミュレーションから現実への移行という主要な課題の 1 つにも対処しています。

論文の最後で、研究チームは「機敏なロボットハードウェア上で同様の複雑さを持つマルチスケールのモーションインテリジェンスを実現する方法は、興味深い研究方向の1つとなるだろう」と記している。

将来、AIは想像以上に強力になるでしょう。これについてどう思いますか？

参考文献:

www.science.org/doi/10.1126/scirobotics.abo0235