暗い時は目を閉じてください、目を開けてくださいAI

執筆者: ナン・アン

ディープウルフ：暗いときは目を閉じてください。狼の村へようこそ。

Werewolf は、自由な自然言語コミュニケーションに基づいた社会的推論ゲームです。人狼ゲームでは、プレイヤー全員（通常 5 ～ 10 人）にランダムに役割（民間人、人狼、魔女、裏切り者、預言者など）が割り当てられ、他のプレイヤーの役割を推測します。

「善人陣営」には、一般人、魔女、預言者などのキャラクターが含まれ、昼間に狼男を追放するために投票します。 「狼男キャンプ」では、狼男が夜間に民間人を殺そうとし、裏切り者は民間人を混乱させようとします。プレイヤーは生き残るために他のプレイヤーを欺かなければならず、会話には必然的に多くの誤った情報が含まれます。ゲームに勝つためには、プレイヤーは会話の詳細を覚え、他のプレイヤーの性格を推測し、矛盾点を見つける必要があります。

多くのプレイヤーは、自分は「狼男のブラックホール」であり、他人の「嘘」を正確に見分けることができない、あるいは言葉や論理について考える方法を知らず、「私は善人です。昨夜何が起こったのかは知りません。とにかく、私は『善人』です」と受動的に反応する、と述べています。たとえ「預言者」や「魔女」といった機能的なアイデンティティを獲得したとしても、彼らは推論したり話したりすることができず、困難な状況で魚を釣ることしかできない。

AI に人狼ゲームをプレイするように依頼した場合、AI のパフォーマンスはどうなるでしょうか?最近、 「Deep Wolf」と呼ばれる AI 言語モデルが自然言語を理解し、狼男の役割を果たして、ゲームアシスタントやゲーム内で人間の競争相手になることが証明されました。 Deep Wolf は Longformer を使用して言語を理解し、強化学習法を使用してトレーニングし、最終的に誰を排除するか、誰を殺すかを決定します。

「言語理解のための人工知能による人狼ゲームのプレイ」と題された関連研究論文が、プレプリントウェブサイトarXivに掲載されました。

AI は人狼ゲームをどのくらいこなせるのでしょうか?

現在、ほとんどの AI システムは、処理する大量のデータが正しいという前提でデータを学習し、出力しています。しかし、現実社会では誤った情報が氾濫しているため、AIが矛盾や誤った情報を検知できれば非常に助かります。

『Werewolf』の重要な特徴は、会話の多くが偽​​の情報であり、この文脈における AI の動作が広く調査されていないことです。同時に、現実世界のあらゆる嘘を検出できる人工知能を開発することは困難であるにもかかわらず、狼男が処理する比較的限られた語彙と情報の種類は学者の注目を集めています。そこで本研究では、自然言語による会話を通じて狼男の役割を果たすことができるAIエージェントの開発を目指しています。

研究者の柴田久一、三木聡一郎、中村雄太は、15人のプレイヤーからゲームログを収集することで、Transformerベースの事前トレーニング済み言語モデルを微調整し、ゲームの任意の段階でゲームに勝つ事後確率を予測し、次のアクションの候補を提供できる価値ネットワークを構築しました。

さらに、研究者らは価値ネットワークから得られた確率に基づいて、人間と対話して最適な投票対象を選択できる「Deep Wolf」と呼ばれるAIエージェントを開発しました。

最後に、実際にDeep Wolfに人間のプレイヤーを相手に人狼ゲームをプレイさせ、その勝率を収集することで、AIエージェントのパフォーマンスを評価しました。

価値ネットワークの動作。ゲームの初期段階では、価値ネットワークが狼男の役割を果たす場合、事後確率は常に低くなります。そして、預言者の役割を果たす場合、事後確率は常に高くなります。これは、5 人バージョンの Werewolf で示されます。バリューネットワークは勝利の確率を正しく予測する能力を持ち、民間側の判断に有利である。

図｜人間プレイヤー5人の勝率。 N/Aは競争が実行されていないため、勝率が定義されていることを意味します。

ディープウルフのパフォーマンス。裏切り者と民間人の平均勝率は、裏切り者と民間人としてプレイする Deep Wolf の勝率とそれほど変わりません。これは、Deep Wolf のキャラクターが裏切り者や民間人の場合、その能力は平均的な人間のプレイヤーと同等ですが、狼男や預言者の役を演じている場合は、人間のプレイヤーよりも劣ることを示しています。

図 | 4人の人間プレイヤーと1人のAIプレイヤーの勝率

AIプレイヤーが参加し、新しいタイプの狼男が登場

この研究は、人間のプレイヤーの自然言語を理解して、Werewolf のキャラクターを演じることができる AI エージェントを構築する初めての研究です。これは、現在の言語モデルが、発言を理解したり、嘘をついたり、会話の中で嘘を検出したりする能力を持っていることを意味します。

この研究では、3 人の研究者がわずか 32 個のゲーム ログに基づいて Deep Wolf をトレーニングし、評価しました。より多くのゲームログを取得して AI エージェントをトレーニングできれば、パフォーマンスを向上させて AI プレイヤーを強化し、ゲームの競争力を高めることができるかもしれません。

一方、AIエージェントが関与するゲームでは、他のプレイヤーの役割を推測することに加えて、各プレイヤーがAIエージェントであるか人間であるかを推測するという追加のタスクがあり、そのような状況で人間のプレイヤーが使用する戦略の変化を評価することは興味深いでしょう。さらに、AI プレイヤーは Werewolf にさらなる可能性をもたらすことができます。たとえば、すべてのキャラクターは AI エージェントであり、人間は単なるゲームの観客ですか?

では、Deep Wolf をあなたの人狼ゲームに参加させてみませんか?

付録：AIが参加した人狼ゲームのログ

図 | 1位は預言者、2位と4位は民間人、3位はAI（ディープウルフ）が演じる狼男、5位は裏切り者

論文リンク:

https://arxiv.org/abs/2302.10646