人は声帯がなくても話すことができますか？ AIを活用した新たな発音システムが誕生！

人工知能（AI）の助けを借りて、新しい柔軟なパッチが、音声障害のある一部の患者が効果的なコミュニケーションを達成するのに役立つことが期待されています。

カリフォルニア大学ロサンゼルス校バイオエンジニアリング学部の助教授ジュン・チェン氏とそのチームは、機械学習の支援により喉頭筋の動きを音声に変換できる「フレキシブルパッチ」音声補助装置を開発した。

この装置は磁気弾性効果に基づいており、声帯障害を持つ患者が筋肉の動きを通じて音声信号を生成し、発声機能を補助できるようにします。

具体的には、この音声補助装置は、まず患者の喉頭筋の動きに関するデータを収集し、次に機械学習アルゴリズムを使用してこれらの信号を分析および分類し、最後に意味情報を識別して対応する音声信号を選択して出力します。

図｜喉に装着するウェアラブルフレキシブルパッチの模式図。

この音響補助装置は、軽量、高伸縮性、高信号対雑音比という特性を持つ磁気弾性材料を使用しており、装置の快適性と装着性を保証していると報告されています。さらに、この音響増強装置は自己電源供給も実現しました。

研究チームは、音声障害のない被験者8人を対象に、立ったり、歩いたり、走ったりしながら「メリークリスマス」や「愛しています」などの言葉やフレーズを発声したりささやいたりするよう依頼した。

結果は、音響補助装置の精度が95%に達する可能性があることを示しました。

「機械学習支援型ウェアラブルセンシングアクチュエーションシステムを使用した声帯なしの発声」と題された関連研究論文が、科学誌「ネイチャー・コミュニケーションズ」に掲載されたばかりだ。

研究チームは、この音声補助装置は従来の声帯に頼らない新しい技術を採用しており、発話障害を持つ患者に新たなコミュニケーション方法を提供すると考えている。

患者を対象にしたさらなる試験の結果、音声補助装置により、音声障害を持つ人々がより簡単にコミュニケーションできるようになり、全体的な生活の質が向上する可能性がある。

音を出すフレキシブルパッチ

話すことは対人コミュニケーションにおいて最も重要な部分ですが、声帯機能障害のある人にとって話すことは難しい作業です。約30%の人が、生涯に少なくとも1回は音声障害を経験します。

携帯型電子喉頭デバイスや手術などの既存の解決策は、いずれも日常生活に影響を及ぼし、使い心地が悪いというさまざまな問題を抱えています。そのため、声帯機能障害を持つ患者の生活の質を向上させるために、患者のコミュニケーションを支援できる装着型の非埋め込み型医療機器が緊急に必要とされています。

この研究では、陳軍氏のチームが設計した柔軟な磁気弾性パッチは、患者の喉に快適にフィットするだけでなく、発声動作に関与する喉頭筋に合わせて形状を変えることができ、機能的な声帯を必要としない。

同時に、パッチの動きによって特定の筋肉の動きを感知し、電気を発生させることができるため、音響補助装置は自己発電型になります。これらの動きは電気信号に変換され、機械学習アルゴリズムによって処理されます。機械アルゴリズムは単語を認識し、それを言語信号に変換することができます。

図｜磁気弾性層構造パラメータ辺の長さは30mmです。直径 2.16 mm の半円形ユニット 12 個が、スパン 25.92 mm の蛇行銅コイルに収められています。スケールバーは10mmです。

論文によると、全体のプロセスには、信号の取得、特徴の抽出と圧縮、機械学習による分類、音声出力の4 つのステップが含まれます。

具体的には、音響増強装置は、ソフトマターシステム内の磁性材料と磁性粉末との相互作用を利用し、材料の変形や移動を引き起こし、喉頭筋の動きの信号収集を実現します。

その後、収集された信号は特徴抽出と圧縮にかけられ、主成分分析 (PCA) を使用して各音声信号を N 次行列に圧縮し、データの冗長性を減らして後続の分類に備えます。

特徴が抽出され圧縮された信号は、分類のために機械学習アルゴリズムに送られます。機械学習アルゴリズムが信号を分類すると、デバイスは対応する音声信号を選択して出力します。

最後に、これらの事前に録音された音声信号は、音声補助装置の駆動部を通じて再生され、それによって対応する音声信号の出力が実現され、ユーザーが補助的に話すのを助ける。

図｜機械学習を活用した静音ウェアラブル音声デバイス

テスト結果によると、40 分間連続して動作させた後でも、音響補助装置の音圧と温度に大きな低下や上昇は見られませんでした。これは、音響出力の面で音響増強装置の耐久性と安全性を実証しています。

耐汗性テストでは、研究チームは人工の汗を使用して実際の使用環境をシミュレートしました。結果は、汗があっても音響増強装置の性能は安定しており、明らかな信号減衰は見られないことを示しました。

研究チームは、通常の会話のさまざまな角度で音声増強装置の音声出力をテストした。結果は、音響補助装置がさまざまな角度で信頼性の高い音響性能を実証し、さまざまな現実のシナリオで補助音声を提供できることを示しました。

しかし、このタイプの音声補助装置は、声帯障害を持つ患者を本当に助けるには、まだいくつかの限界があります。

たとえば、研究で使用された実験サンプルのサイズは比較的小さく、特定の年齢と性別の参加者のみが含まれていたため、人口全体を完全に代表しているわけではない可能性があります。今後の研究では、サンプルのサイズと範囲を拡大して、より広い集団を対象にする可能性があります。

さらに、研究では発汗環境をシミュレートするために人工汗が使用されましたが、この環境は実際の生理環境とは依然として異なります。将来的には、より現実的な生理学的環境で研究を実施し、実際の使用における音声増強デバイスの性能をより適切に評価できるようになるでしょう。

想像力あふれるウェアラブルデバイス

近年、ウェアラブルデバイスの開発は、人間の想像力を絶えず突破し続けています。たとえば、洗える帽子は視覚障害者が信号の変化を感知するのに役立つかもしれませんし、衣服は着用者が美術館内を移動する際にガイドとして役立つかもしれません。関連する研究は先月ネイチャー誌に掲載された。

先月、ネイチャー・コミュニケーションズ誌に掲載された研究では、自己発電型摩擦電気原理に基づいて特別に設計されたセンサーユニットを通じて、顔と声の表情によって生成される信号を同時に感知することで、人間の感情を正確に識別できるウェアラブル感情認識システムが紹介されました。

さらに、南開大学の研究チームが昨年サイエンス誌に発表した論文では、一日を通して太陽エネルギーを利用して双方向の温度調節を実現する「冬季暖房魔法の道具」が紹介されている。

同様に、ウェアラブルデバイスも、自由に変形できるインタラクティブなスクリーンに変身させることができます。画面の表示内容とプレゼンテーション形式は、インスタントインタラクティブコンテンツに応じてリアルタイムで変化し、没入感のある感覚体験も提供します。

将来、想像力が技術の発展に追いつくと、これらのウェアラブルデバイスは、さまざまな意味で人間の生活を便利でより良くするでしょう。

参考リンク: https://www.nature.com/articles/s41467-024-45915-7 https://samueli.ucla.edu/people/jun-chen/