何を言いたいと思いますか?心を読むのではなく、脳内での予測処理

制作：中国科学普及協会

著者: 李暁青研究グループ (中国科学院心理学研究所行動科学重点研究室)

プロデューサー: 中国科学博覧会

日常の言語コミュニケーションでは、相手が何を言おうとしているかを予測することがよくあります。例えば、友人が朝食に「豆乳を飲んで…」と言ったとき、その友人が話し終わる前に、あなたは「豆乳」などの情報に基づいて、友人がこれから言う言葉が「パン生地」であることをすでに予測しています。

もし彼が本当に「油条」と言ったら、「饅頭」と言った場合よりも早く簡単に理解できるでしょう。

この予測処理は言語理解プロセスで広く行われており、人間の脳が効率的な言語理解を達成できる重要な理由の 1 つです。しかし、これまでの科学的研究は、予測されたターゲット情報（例では「youtiao」）が現れた後に人々がそのターゲット情報をどのように処理するかに主に焦点を当ててきました。しかし、より価値があり、挑戦的な研究課題は、「この予測はどのようにして生じるのか？」ということです。

ワーキングメモリ: 一時的なメモリワークステーション

ノーベル経済学賞受賞者で心理学者のダニエル・カーネマンは、著書『ファスト＆スロー』の中で、思考プロセスに関与する 2 つのシステムを体系的に説明しています。システム 1 は「ファスト システム」であり、自動的かつ無意識的です。システム 2 は「遅いシステム」であり、認知的努力を必要とし、論理的かつ意識的です。

彼は、豆乳と聞いて揚げドーナツを思い浮かべるとき、これらの概念間の連想処理はシステム 1 に依存していると考えています。では、言語理解における予測プロセスは、システム 1 だけに頼って完了できるのでしょうか?この質問に答えるためには、まず「ワーキングメモリ」とは何かを理解しましょう。

ワーキングメモリとは、情報を一時的に保存して処理する記憶システムを指します。仮設の「ワークステーション」であるため、保存・処理できる情報容量には限りがあります。

作業記憶容量は、年齢など多くの要因によって影響を受けます。幼少期から青年期にかけてサイズが大きくなり、老年期にかけて徐々にサイズが小さくなります。

1956 年にミラーは、作業記憶の容量は7±2「チャンク」 、つまり、作業記憶には通常 5 ～ 9 チャンクの情報が格納されると提唱しました。人によって、それぞれの「チャンク」の内容は異なり、作業記憶に保存および処理できる情報量には大きな個人差が生じます。

ワーキングメモリ容量（画像出典：著者）

例えば、18桁の数字の列を人が覚えるのは困難ですが、この番号がID番号であれば、都道府県、市区町村、地区（郡）コード、生年月日など、いくつかの「ブロック」に分割すると覚えやすくなります。

言語理解における予測プロセスとは何ですか?

言語理解における予測プロセスに戻りましょう。作業記憶の容量には限りがあるため、自動化システム 1 のみに頼れば、予測プロセスは作業記憶の容量の影響を受けません。システム 2 も予測処理に関与している場合、作業記憶容量が異なる個人は予測処理のパフォーマンスも異なります。

さまざまな仮説を検証するために、中国科学院心理学研究所の李暁青の研究グループは最近、脳波研究を実施した。

EEG 実験プロセスの例 (画像ソース: Pixabay)

研究者らは160人の大学生を募集し、ワーキングメモリ容量テストで2つのグループを選別した。1つのグループにはワーキングメモリ容量の高い24人が含まれ、もう1つのグループにはワーキングメモリ容量の低い24人が含まれた。

2 つの大学生グループが、コンピューター画面に表示された一連の文章を読んで理解しました。文には、高度に制限がある文、中程度に制限がある文、および低度に制限がある文の 3 種類があります。

ここでの制限は、文の文脈の情報に基づいて人々が同じ単語を予測できる確率を指します。

たとえば、10 人中 9 人が「釘を板に打ち込むために、彼は…を購入した」という文脈で「ハンマー」という単語が現れることを予測できる場合、この文脈の制限性は 90% であると言えます。

したがって、予測された名詞「ハンマー」の予測確率は 90% です。同様に、「ハンマー」は、「硬いクルミを割るために、彼は…を買った」という中程度に制限された文脈では中程度の予測確率を持ちます。 「本」は、制限の少ない文脈では予測確率が低い。「このタスクをうまく完了するために、彼は…を購入した」

脳波コンセプトマップ（画像出典：veer library）

この研究では、被験者が文章を読んでいる間の脳波を記録し、主に脳波の振幅を分析しました。簡単に言えば、EEG 波の振幅が大きいほど、認知処理が困難になります。

研究を通じて、研究者は以下の発見をしました。

最初の発見は、対象名詞の前の動詞（この例では「买」）を読むとき、大学生は制限の少ない文脈で「买」を読む場合と比較して、制限の少ない文脈で「买」を読む場合のほうが脳波が大きくなったというものでした。この現象は、ワーキングメモリ容量の高いグループでのみ観察されました。

研究者らは数学モデルを用いてさらに分析し、非常に限定的な文脈における動詞のEEG振幅は、後続の対象名詞の予測確率と正の相関関係にあることを発見した。つまり、名詞の予測確率が高いほど、動詞によって引き起こされるEEG振幅も大きくなるということだ。

たとえば、「母親の誕生日を祝うために、彼女は…を買った」という非常に限定的なコンテキストでの「ケーキ」の予測確率は 100% なので、このコンテキストでの「買った」によって誘発される脳波は、前の非常に限定的な例での「買った」によって誘発される脳波よりも大きくなります。これは、「ハンマー」の予測確率が 90% であるためです。

この結果は、ワーキングメモリ容量の高い人々が、これから現れる名詞を活性化し、ワーキングメモリに保存するために懸命に取り組んでいることを示唆しています。

2 つ目の発見は、例の「ハンマー」や「本」などのターゲット名詞が出現した後、高ワーキング メモリ容量グループでは名詞によって誘発される EEG 振幅が名詞の予測確率の増加に伴って徐々に減少し、つまり、高制限コンテキストの「ハンマー」< 中制限コンテキストの「ハンマー」< 低制限コンテキストの「本」となったのに対し、低ワーキング メモリ容量グループでは「高制限 < 低制限」という EEG 効果しか示されなかったことです。

これは、予測性の高い名詞は作業記憶に保存されている名詞と同じであるため、意味理解効果が高く、作業記憶容量が高い人は特定の言語理解の利点があることを示唆しています。

研究者らは数学モデルをさらに分析し、対象名詞の予測確率の差が大きいほど、誘発される脳波振幅の差も大きくなることを発見した。これは、異なる条件下で対象名詞によって誘発される脳波振幅が、実際にその予測確率に関連していることを示す。

ワーキングメモリ容量が高い人（左）とワーキングメモリ容量が低い人（右）の予測生成（動詞の位置）と予測統合（名詞の位置）フェーズ中のCz電極点におけるEEG波（画像出典：文献[1]、改変）

要約すると、異なるワーキングメモリ容量を持つ個人によって示される予測言語理解の違いは、言語理解における予測処理が確かに人々の理解プロセスを促進できることを示しているが、予測自体は認知的努力を必要とする意味計算構築プロセスであり、ダニエル・カーネマンが示した例のように概念間の自動的な連想活性化から単純に生じるものではない。

これを言語理解における「アヒルかき」現象と呼ぶことができます。水上のアヒルはリラックスして快適そうに見えますが、実際には水かきのある足は水中で止まることなく動き続けています。私たちは言語を簡単かつ迅速に理解しているように見えますが、実際には私たちの脳は常に予測処理を行っています。

アヒルが水遊びをしている（画像提供：Pixabay）

脳の情報容量と予測能力を向上させるにはどうすればよいでしょうか?

この研究では、ワーキングメモリ容量が意味予測処理と密接に関連していることが判明したので、ワーキングメモリ容量を改善することで言語理解を促進することは可能でしょうか?

今後の研究ではこの問題がさらに調査される可能性があります。しかし、この質問に答える前に、作業記憶容量はトレーニングによって向上できるかどうかを明確にする必要があります。

科学的研究は肯定的な答えを与えました。研究者は作業記憶をドメイン固有の作業記憶とドメイン一般の作業記憶に分類します。

前者は言語性ワーキングメモリ、デジタルワーキングメモリなど、特定の種類の情報に関連するワーキングメモリを指します。後者は特定の種類の情報に限定されず、注意の制御、ワーキングメモリに出入りする情報の流れの制御、無関係な情報からの干渉の制御などのプロセスを含む制御システムと呼ぶことができます。

さまざまな漢字（画像出典：veer gallery）

特定の作業記憶と一般的な作業記憶には、異なるトレーニング方法があります。

領域特異的なワーキングメモリは、一般的に戦略的なトレーニングを採用します。たとえば、繰り返し練習することで、各「チャンク」に含まれる情報量を増やすことができます。たとえば、「ID カード」の例では、複数のデジタル「チャンク」を組み合わせて、作業メモリに保存されるデジタル容量を増やすことができます。

ドメイン全般のワーキングメモリでは、通常、マルチモーダルタスクまたは刺激が含まれ、強い干渉が設定され、または高強度の認知的関与を必要とするコアトレーニングが使用されます。たとえば、一般的な作業記憶能力は、注意力トレーニング、認知トレーニング、その他の方法を通じて向上させることができます。

人工知能のイラスト（Pixabayより）

結論

現在、私たちは言語理解における予測処理の認知メカニズムについて一般的な理解を持っています。つまり、言語理解は見た目ほど単純で簡単なものではないということです。

現在、ChatGPTなどのさまざまな大規模言語モデルが市場で利用されています。これらのモデルは人間とコンピュータのインタラクションを迅速に実行し、人間の言語理解プロセスをかなりシミュレートできますが、その背後にあるアルゴリズムには依然として人間の認知神経メカニズムのサポートが欠けています。

今後の研究で言語理解における予測処理の神経メカニズムがさらに明らかになれば、汎用人工知能の発展を促進する上で重要な役割を果たすことは間違いないでしょう。

参考文献:

[1]Ding, J.、Zhang, Y.、Liang, P.、および Li, X. (2023)。言語理解中の予測処理における作業記憶容量の調整。言語、認知、神経科学。

[2]Ding, J.、Wang, L.、Yang, Y. (2020)。文章理解中の予測処理に対する感情的な言葉の影響。言語・認知・神経科学、35(2):151–162.

[3]Zheng, Y.、Zhao, Z.、Yang, X.、Li, X*。 （2021年）。オンライン音声理解中の予測的意味処理に対する音楽専門知識の影響：脳波検査研究。脳と言語、221、105006。

[4]Zheng, Y.、Gao, P.、Li, X*。 （2023年）。騒音下での音声理解における語彙・意味予測に対する音楽的専門知識の調整効果：EEG 研究からの証拠。精神生理学。