新たな突破口！中国の科学者が世界初の脳のような補完視覚チップを開発 →

現代の科学技術の分野では、「視覚認識技術」が重要な役割を果たしています。自動運転車から器用なロボット、ユビキタスなインテリジェント監視システムまで、画像センサーの性能がこれらのテクノロジーの成功を直接左右します。

しかし、動的で変化に富み、予測不可能な環境に直面すると、従来の画像センサーでは対応できず、多くの課題に直面することがよくあります。これらの課題には、主に、ダイナミック レンジの制限、データの冗長性、認識の遅延、その他の主要な側面が含まれます。

ダイナミック レンジとは、画像やビデオでキャプチャできる最も暗いピクセルから最も明るいピクセルまでの可視範囲内のすべてのピクセルの範囲を指します。ダイナミック レンジが大きいほど、デバイスがキャプチャできるピクセルの変化が多くなり、濃い黒から明るい光までの詳細をより鮮明に表示できます。しかし、従来のセンサーのダイナミック レンジは非常に限られており、明るい環境でも暗い環境でも鮮明な画像を撮影することが困難です。

データの冗長性とは、高解像度および高速のセンサーが大量のデータを生成し、処理と転送の負担が増加することを意味します。知覚遅延とは、処理速度の制限により、急速に変化する環境ではセンサーが知覚遅延を起こしやすく、意思決定の適時性に影響を与えることを指します。

ダイナミックレンジが限られているため、カメラは低照度環境では鮮明なポートレートを撮影できません（3枚目の画像）（画像出典：参考1）

これらの問題は、自動運転、ロボット工学、人工知能などの分野で特に顕著です。たとえば、自動運転では、センサーが道路状況や潜在的な危険を迅速かつ正確に識別できなければなりませんが、従来のセンサーでは、歩行者や車両の突然の出現など、複雑なシナリオを処理する際にパフォーマンスが低下することがよくあります。

これらの技術的障壁により、複雑な環境での画像センサーの応用が制限され、より高度な視覚認識技術が緊急に必要になります。科学者たちは人間の視覚システムを継続的に研究することで解決策を見つけようとしています。

人間の視覚システムからインスピレーションを得た

人間の視覚システム (HVS) は、複雑な視覚情報の処理に優れています。つまり、一次視覚皮質は、視覚情報の初期処理領域として、視覚情報を色、方向、動きなどの基本要素に分解し、この情報を背側ストリームと腹側ストリームに送信し、次に 2 つの主要な経路で処理されます。

1

認知パス

腹側視覚路は側頭葉に接続し、色や形などの詳細の高精度な認識と認識を主に担っています。この経路により、私たちは物体を詳細に、そして色彩豊かに見ることができ、環境を正確に認識することができます。

2

モーションパス

背側皮質ストリームは頭頂葉に接続し、方向や速度などの迅速な反応と動きの検出を主に担当します。このパスにより、障害物を回避したりターゲットを追跡したりするなど、移動するオブジェクトをすばやく識別し、それに応じて対応することができます。

背側視覚路、腹側視覚路、一次視覚皮質（画像出典：視覚系：中枢処理）

このデュアルパス処理により、人間はさまざまな複雑な環境を効率的かつ正確に認識し、対応できるようになります。清華大学の研究チームは、人間の視覚システムを模倣し、世界初の脳のような補完視覚チップ「天目チップ」を開発しました。このチップは、従来の視覚認識チップの欠点を克服し、これまでにない効率的で正確な視覚認識ソリューションを提供します。

天馬チップの誕生

Tianmou チップの設計コンセプトは、人間の視覚システムに関する徹底的な研究に基づいており、ハイブリッド ピクセル アレイと並列異種読み出しアーキテクチャを採用しています。

ハイブリッド ピクセル アレイは、人間の視覚システムの錐体と桿体を模倣しており、それぞれ色と動きの検出に使用されます。その中で、上皮細胞は光受容細胞を支え、保護する細胞層です。錐体細胞は主に色情報を捉える役割を担っており、明るい光の中でも豊かな色彩の細部を見ることができます。桿体細胞は光の強度の変化に非常に敏感で、特に暗い環境に適しており、薄暗い状況でも物体の輪郭や動きを見るのに役立ちます。

錐体細胞、桿体細胞、上皮細胞（画像出典：Seeing color）

並列異種読み出しアーキテクチャは、Tianmou チップの中核部分です。その役割は、さまざまなピクセル（錐体や桿体など）からの電気信号を高速かつ正確にデジタル データに変換することです。このアーキテクチャの利点は、高ダイナミック レンジと高速認識の要件を同時に処理し、データの冗長性を効果的に削減し、複雑な照明条件下でも高いパフォーマンスを維持できることです。

ハイブリッド ピクセル アレイと複数のパスとの相互作用を含む Tianmou チップのアーキテクチャ (画像ソース: 参照 2)

これらの新技術の応用により、Tianmou チップは高速認識、広いダイナミック レンジ、帯域幅の最適化という 3 つの特徴を備え、従来のセンサーの欠点を解決します。

1

高速認識能力

Tianmou チップは、最大 10,000 フレーム/秒の速度を実現できるため、急速に変化する環境でも鮮明な画像を撮影できます。この高フレーム レートの認識機能は、リアルタイムの認識と応答を必要とする自動運転やロボットなどのアプリケーション シナリオにとって重要です。

2

広いダイナミックレンジ

ダイナミック レンジは dB (デシベル) で測定されます。従来のセンサーのダイナミック レンジは通常 60 ～ 80 dB ですが、人間の目のダイナミック レンジは約 120 dB です。 Tianmou チップは最大 130dB のダイナミック レンジを備えており、明るい環境でも暗い環境でも鮮明な画像を提供できます。つまり、直射日光と影が共存する複雑な照明条件でも、Tianmou チップは繊細な画像の詳細を提供できるということです。

異なる光パワー密度における Tianmou チップの信号対雑音比。 Tianmou チップは、アクション パスと認知パスの高ゲイン モードと低ゲイン モードを組み合わせることで、130dB の広いダイナミック レンジを実現します。これは、このチップが極端に明るい条件でも暗い条件でも高品質の画像を提供できることを示しています。 （画像出典：参考資料2）

3

帯域幅の最適化

適応型テクノロジーにより、Tianmou チップは帯域幅要件を 90% 削減し、データ転送と処理の負担を効果的に軽減します。この帯域幅最適化技術は、データ伝送効率を向上させるだけでなく、エネルギー消費も削減し、Tianmou チップをモバイル デバイスや IoT アプリケーションに適したものにします。

高速な動きや光のちらつきの干渉下でも Tianmou チップは高いパフォーマンスを発揮します。アクション パスの高速応答により、チップは帯域幅の消費を低く抑えながら、予測できない光フラッシュ イベントを迅速に処理できます。 Tianmou チップは、従来のニューロモルフィック ビジョン センサーと比較して、消費電力と帯域幅の点で優れたパフォーマンスを発揮します。 （画像出典：参考資料2）

Tianmoチップの応用事例

天謀チップの自動運転システムへの応用は、その強力な性能を示す重要な実証です。複雑な道路環境でも正確、高速、堅牢な認識を提供し、コーナーの状況でも迅速に対応できます。これは、自動運転システムの安全性と信頼性を向上させる上で大きな意義を持ちます。

例えば、天謀チップは、自動運転テスト中に突然現れる歩行者や車両に対処する優れた性能を実証し、事故の可能性を大幅に低減しました。

天謀チップは、自動運転のほか、ドローンやセキュリティ監視などの分野でも幅広く活用できる。たとえば、セキュリティ監視では、Tianmou チップは光の変化が激しい環境でも高品質のビデオ画像を提供できるため、潜在的なセキュリティ上の脅威をタイムリーに検出するのに役立ちます。ドローンアプリケーションでは、Tianmou チップの高ダイナミック レンジと高速認識機能により、複雑な地形や照明条件でもドローンが効率的に移動および監視できるようになります。

長距離走行テストにおけるTianmouチップの性能。テスト中、車両は昼夜、トンネル、高ダイナミックレンジ、異常な物体、複雑なシーンなどの極端な状況に遭遇しました。 Tianmou チップは、認知パスとアクション パスの検出結果をシームレスに同期することで、高精度の認識を保証します。 （画像出典：参考資料2）

さまざまな実験の結果、Tianmou チップは高いダイナミック レンジと高解像度を備えているだけでなく、高速動作や極端な照明条件下でも優れた認識を維持し、極端な環境でも従来のセンサーよりもはるかに優れた性能を発揮することがわかりました。

Tianmou チップは将来の技術開発において無限の可能性を秘めています。テクノロジーが進歩するにつれ、テクノロジーはより多くの分野で欠かせない役割を果たすようになるでしょう。拡張現実 (AR) と仮想現実 (VR) における Tianmou チップによってもたらされる超高品質の視覚体験が、私たちの認識や対話の方法をいかに完全に変えるか想像してみてください。これはほんの始まりに過ぎません。

将来、天謀チップが人工知能技術と深く統合されると、スマートシティ構築、医療画像分析、産業オートメーションなどの分野にどのような破壊的な変化をもたらすのでしょうか。それはどのようにして私たちをよりインテリジェントでつながりのある世界へと導くのでしょうか?サスペンスは残っているので、待って見ましょう。

参考文献

[1]ハン、Yuqi & Yu、Xiaohang & Luan、Heng & Suo、Jinli。 （2023年）。厳しい照明環境下での高速ドローンによるイベント支援オブジェクト追跡。 10.20944/preprints202312.1056.v1。

[2]Yang, Z.、Wang, T.、Lin, Y. 他。オープンワールドセンシングのための補完的な経路を備えたビジョンチップ。ネイチャー629、1027–1033（2024）。

企画・制作

中国科学普及協会制作

著者: 鄭 盛傑、計算および神経システムの博士課程学生

監査丨中国科学博覧会

編集者：ヤン・ヤピン

校正：徐来林