AIは物語を作るのが本当に得意なのでしょうか？想像以上です！

AI に質問すると、非常に詳細で内容が充実し、一見論理的な答えが返ってくる、というような状況に遭遇したことはありませんか。しかし、検証してみると、この情報は完全に虚偽であることがわかりました。

これが有名な「AI錯覚」現象です。

画像出典: ヘーゼンバーグの新浪微博

AI幻覚はなぜ起こるのか？今日は一緒にこの謎を解き明かしましょう。

AI幻覚はなぜ起こるのか？

AI幻覚とは、一見合理的に見えても実際には間違った情報をAIが生成する現象を指します。最も一般的な現れは、存在しない事実や詳細を捏造することです。

試験で答えが分からない問題に遭遇したとき、私たちはすでに知っている知識を使って答えを推測しようとします。 AIは、情報が不足していたり不確かな状況に遭遇すると、自身の「経験」（トレーニングデータ）に基づいて空白を埋め、推論を行います。

これは私たちを騙そうとしているのではなく、理解できるモデルを使用してこのタスクを達成しようとしているからです。

統計的関係に基づく予測

AI（特にChatGPTのような言語モデル）は、大量のトレーニングデータを通じて単語間の統計的関係を学習するためです。その主な目的は、質問や内容を真に理解することではなく、文脈に基づいて最も可能性の高い次の単語を予測することです。したがって、AI は本質的に、論理的推論ではなく確率を最大化することによってコンテンツを生成します。

簡単に言えば、AI は、幅広く読書し、膨大な量のテキストや資料を研究して知識を獲得する賢者のようなものです。しかし、この知識を実際に理解しているわけではなく、単語間の統計的な関係とパターンを見つけることで、次に最も適切な単語を「予測」します。つまり、AI は以前に学習した多数の例に基づいて、次に出現する可能性が最も高い単語を推測します。

ただし、モデルが間違った推測をすることもあります。前方に少しでもズレがあると、後続の内容が雪だるま式に大きくなってしまいます。そのため、AI は小さなミスから始まり、最終的に完全に捏造されたストーリーを作り上げてしまうことがあります。

トレーニングデータの制限

AI には現実世界での経験がないため、その「認知」はすべてトレーニングデータから得られます。しかし、トレーニングデータには世界中のすべての情報が含まれているわけではなく、間違った情報が含まれていることもあります。それはまるで、読んだ本に基づいてしか質問に答えられないようなものです。本に間違った情報が含まれていたり、特定の分野の知識が欠けていたりすると、間違った判断を下してしまう可能性が高くなります。たとえば、初期段階で AI の幻覚が大きい場合、AI が「北京は中国の首都である」と「パリにはエッフェル塔がある」という 2 つの知識を学習したように見えることがあります。「北京にはどんな有名な建物がありますか」と尋ねると、この知識を誤って混ぜ合わせて「北京にはエッフェル塔があります」と答える場合があります。

過剰適合問題

大規模モデルのトレーニングパラメータの数は非常に多いため、大規模モデルではトレーニングデータに「過剰適合」する問題が発生します。つまり、間違ったことや無関係なことをあまりにも多く記憶してしまうため、AI はトレーニングデータ内のノイズに対して過敏になり、最終的には幻覚を引き起こすことになります。

限定されたコンテキストウィンドウ

技術的な制限により、大規模モデルのコンテキストウィンドウはますます大きくなっていますが (たとえば、64k または 128k のトークンを処理できます)、理解できるテキストは依然として限られた範囲内です。これは小さな窓から本を読むようなものです。本の内容全体を見ることができないため、誤解を招きやすくなります。

スムーズな応答を生成するための設計

現在、多くの大規模モデルは、流暢な回答を出すように設計されています。質問に対して確信が持てないとき、「分かりません」と言う代わりに、既存の知識に基づいて一見合理的と思われる答えを作り上げようとする傾向があります。上記のすべての状況が組み合わさって、現在非常に深刻な AI 幻覚問題が発生しています。

ギャラリー内の画像は著作権で保護されています。転載して使用すると著作権侵害の恐れがあります。

AI の幻覚を減らすにはどうすればよいでしょうか?

AIは非常に便利に思えますが、AIの重大な「ナンセンス」は、時には人々に本当に頭痛の種を与えることがあります。提供される情報は繰り返し検証する必要があることが多く、インターネットで直接検索するほど信頼できない場合もあります。では、AI の幻覚にはどのように対処すればよいのでしょうか?役に立つ方法を以下にまとめました。

質問を最適化する

正確な回答を得るには、質問の仕方が重要です。 AI とのコミュニケーションも明確かつ具体的である必要があり、漠然とした質問や自由回答形式の質問は避ける必要があります。質問が具体的かつ明確であればあるほど、AI の回答はより正確になります。同時に、AI がランダムに推測する可能性を減らすために、質問するときには十分なコンテキストや背景情報を提供する必要があります。ヒントは次の 4 種類の質問にまとめることができます。

1. 境界を設定する：「研究は2022年にNatureに掲載される研究に厳密に限定してください。」

例：「ChatGPTの開発履歴を紹介してください」→「2022年から2023年までのOpenAIの公式公開文書のみに基づいて、ChatGPTの開発履歴を紹介してください」

2. 不確実性をマークする:「曖昧な情報については、「これは推測です」とマークする必要があります。」

例：「2025年のテスラの市場シェア分析」→「2025年のテスラの市場シェア分析。非公式のデータや予測については、[推測]とマークしてください。」

3. 段階的な分析：「最初のステップは確認された事実を列挙することであり、2番目のステップは詳細な分析を行うことです。」

例：「人工知能が雇用に与える影響を評価してください」→「AIが雇用に与える影響を2つのステップで評価してください。

1) まず、これまでに発生した具体的な影響事例を列挙します。

2) これらの事例をもとに今後の動向分析を行う。

4. 明確な制約: AI に、既存の事実に基づいて回答し、推測しないように指示します。

例：「2024年の不動産市場の動向を予測してください」→「2023年の実際の不動産データと発行された関連政策に基づいてのみ分析し、推測的な内容は追加しないでください。」

バッチ出力

AI コンテンツは確率に基づいて生成されるため、一度に生成されるコンテンツが多いほど、AI 幻覚の可能性が高くなります。出力量を積極的に制限することができます。たとえば、長い記事を書きたいときは、AI に「段落ごとに書きましょう。まずは冒頭を書きます。この部分に満足したら、次の段落に進んでください。」と言います。これにより、コンテンツの精度が向上するだけでなく、生成されたコンテンツの品質を制御しやすくなります。

クロス検証

AI の回答の信頼性を向上させるもう 1 つの実用的な方法は、「マルチモデル相互検証」を使用することです。使用される AI 集約プラットフォーム: 複数の AI モデルが同時に同じ質問に答えることができます。厳密な回答が必要な質問に遭遇した場合、この機能が有効になり、さまざまな大規模モデルがディスカッションに参加して、回答を比較することでより包括的な理解を得ることができます。

クリックして拡大、画像出典：著者提供

もう 1 つの例は、Nano AI 検索プラットフォームの「マルチモデルコラボレーション」機能です。この機能により、さまざまな AI モデルがそれぞれの機能を実行し、効率的なコラボレーションチームを形成できます。推論が得意なDeepSeekR1が分析と計画を担当し、Tongyi Qianwenがエラー修正と補足を担当し、最後にDoubao AIがソートと要約を担当します。この「専門家グループ」のコラボレーションモデルは、コンテンツの信頼性を高めるだけでなく、より包括的で詳細な洞察をもたらします。

画像出典：著者提供

RAGテクノロジー

AIは賢いですが忘れっぽい人間です。より確実にパフォーマンスを発揮できるように、スーパー百科事典を彼に渡し、いつでもその内容を確認して質問に答えられるようにすることができます。この「百科事典」こそが RAG の核心です。これにより、AI は質問に答える前に信頼できる資料から関連情報を見つけ、その情報に基づいて回答を生成できるようになります。こうすることで、AI が「意味不明なことを言う」可能性が低くなります。現在、RAG テクノロジーは主に医療、法律、金融などの専門分野で、知識ベースを構築して回答の精度を向上させるために使用されています。もちろん、医療、法律、金融などの高リスク分野での実際の使用においては、AI が生成したコンテンツは専門家によるレビューを受ける必要があります。

AIイリュージョンの使用

最後に、AI 幻覚の利点について 1 つお話しします。

多くの場合、AI の幻想は野生の創造性の火花でもあります。彼は気まぐれな芸術家のように、従来の考え方にとらわれず、驚くようなアイデアを思いつくことができます。

DeepSeek を見てください。確かに、ChatGPT や Claude よりも幻覚を起こしやすいです。しかし、DeepSeek が今年これほど人気になった理由は、その強力な創造力と切り離すことはできません。

時には、AI の錯覚を欠陥として見るのではなく、創造性の源として見る方が良いこともあります。文章を書いたり、アートを創作したり、ブレインストーミングをしたりするとき、こうした「飛び交う思考」は、新しい世界への扉を開くのに役立つかもしれません。

ギャラリー内の画像は著作権で保護されています。転載して使用すると著作権侵害の恐れがあります。

AI の錯覚の性質 - AI は、知識の霧の中で、本物のように見えるが実際には錯覚である「影」を作り出すことがあります。しかし、他のツールと同様に、重要なのはそれをどのように使用するかです。

私たちが AI と正しい方法でコミュニケーションし、その創造性をうまく活用し、独立した思考を維持することを学べば、AI は「雄弁な嘘つき」ではなく、私たちの強力なアシスタントになることができます。

結局のところ、AIと人間が共に進歩するこの時代において重要なことは、AIの不完全さを責めることではなく、AIとより良く協力することを学ぶことです。

企画・制作

著者: Tian Wei AIツール研究者

レビュー丨テンセント玄武ラボの責任者、Yu Yang氏