難病で声を失った女性の脳をAIで読み取り言葉を取り戻すことに成功！
かつてスティーブン・ホーキング博士を苦しめた病気でもある、筋萎縮性側索硬化症（ALS）で発声ができなくなった女性の言葉を、AIが脳活動のパターンから読み取り会話ができるようになりました。
今回の報告は、スタンフォード大学医学部が行った臨床試験の一環で、脳に埋め込まれた4つのセンサーが、1分あたり62ワードという驚きの速さで脳を読み取り、内容をモニターに表示することができたのです。
この驚きの技術は一体どのように確立されたのでしょうか。
この研究内容の詳細は2023年8月23日に『nature』にて公開されています。
目次
- 発音できない発話の構成要素
- 39の音素
- 脳にセンサーを埋め込んで翻訳
- 精度の向上と未来
発音できない発話の構成要素
現在68歳のパット・ベネットさんは、かつて企業で人事部長としてバリバリ働き、ジョギングや馬術が趣味の活動的な女性でした。
しかし2012年、彼女は筋萎縮性側索硬化症（ALS）と診断されました。
この病気は、運動神経細胞が変性・死滅する神経変性疾患です。これにより筋力が低下し、手足の筋力低下、発話や嚥下（飲み込むこと）の困難、そして呼吸困難などの症状が現れます。
原因は明らかでなく、現在のところ根本的な治療法はありません。
通常、ALSは脊髄から発症するため、腕や脚、手や指といった体の末梢から症状が現れます。しかし、ベネットさんの場合は、症状が脳幹から始まったため、自分で服を着たりする動作はできても、唇、舌、喉頭、顎の筋肉を使うことができなくなり、発話の構成要素である音素（”sh”などの音の単位）をはっきりと発音することができなくなってしまいました。
39の音素
ベネットさんの脳は、音素を生成するための指示を出すことはできますが、筋肉がその命令を実行することはできません。
そこで研究者たちは、単語全体を認識できるようにAIを訓練するのではなく、音素から単語を解読するようAIを訓練しました。
これらは、文字が書き言葉を形成するのと同じように、話し言葉を形成する音声の単位です。 「Hello」という単語を例にすると、「HH」、「AH」、「L」、「OW」の 4 つの音素が含まれています。
また、このAIは、どの単語が他の単語の前に来るべきか、どの音素がどの単語を作るかを理解するようにも訓練されています。そのため、いくつかの音素が誤って解釈されたとしても、正しい推測ができるのです。
このアプローチにより、コンピューターは39の音素を学習するだけで、英語のあらゆる単語を理解できるようになりました。この結果、システムの精度が向上し、処理速度も3倍となったのです。
脳にセンサーを埋め込んで翻訳
2022年3月29日、スタンフォード大学医学部の神経外科医は、ベネットさんの脳の表面の発話に関係する2つの領域に、それぞれ2つの小さなセンサーを埋め込みました。
これらのセンサーは、最先端の解読ソフトウェアと組み合わせることで、脳の活動を翻訳するように設計されています。
手術を執刀した外科医のジェイミー・ヘンダーソン医師によると、「英語話者同士の自然な会話である、1分あたり約160語の速度に近づき始めている」といいます。
また、「脳表面の非常に小さな領域の活動を記録することで、意図された音声を解読できることがわかった」とも語っています。
精度の向上と未来
どの脳活動パターンが、どの音素と関連しているかをアルゴリズムに認識させるため、ベネットさんは、1回4時間に及ぶトレーニングセッションを約25回にも渡って取り組みました。
その内容とは、電話で話している人々の膨大な量の会話のサンプルから、ランダムに選ばれた言葉を繰り返して表示し、ベネットさんがその文章を暗唱しようとすると、脳活動が変換して単語に組み立てられ、スクリーンに表示されるというものでした。
ベネットさんは1回のトレーニングで260から480の文章を繰り返し暗唱しました。そして、ベネットさんが発話を試みているにつれ、システム全体の精度は向上し続けたのです。
ベネットさんとスタンフォード大学の共同チームは、語彙が50単語に制限された条件下で、AIの翻訳エラー率を9.1%にまで減少させることに成功しました。
しかし、語彙を一般的に使用される12万5000語まで拡大した際、エラー率は増加し、23.8%になりました。
この数字からも改善の余地はありますが、研究者たちはトレーニングの量を増やし、脳とのAIの相互作用を強化することで、さらにエラー率を下げることが可能だと考えています。
現時点ではまだ実験段階の技術であり、日常生活で使用できるものではありませんが、言葉を話すことができない人々のコミュニケーションの回復に向けた大きな前進であることは間違いありません。
ベネットさんはこう語っています。
「言葉を話せない人々も、この技術により世界との絆が深まり、仕事、そして愛する人たちとのつながりを保ち続けることができるでしょう」
参考文献
Brain implants, software guide speech-disabled person’s intended words to computer screen https://med.stanford.edu/news/all-news/2023/08/brain-implant-speech-als.html How artificial intelligence gave a paralyzed woman her voice back https://medicalxpress.com/news/2023-08-artificial-intelligence-gave-paralyzed-woman.html ‘Big breakthrough’as brain chips allow woman, 68, to ‘speak’13 years after she suffered same disorder that killed Stephen Hawking and Sandra Bullock’s partner https://www.dailymail.co.uk/sciencetech/article-12437335/brain-chip-speak-ALS-Stanford-Hawking-Bullock.html元論文
A high-performance speech neuroprosthesis https://www.nature.com/articles/s41586-023-06377-x?utm_medium=affiliate&utm_source=commission_junction&utm_campaign=CONR_PF018_ECOM_GL_PHSS_ALWYS_DEEPLINK&utm_content=textlink&utm_term=PID100032693&CJEVENT=bf385771422611ee814500c40a1cb825