「HAL（ハル）、昨日見た夢の映像を見せて」
そんなSFまがいなAIとの会話は、もう絵空事ではなくなるかもしれません。
シンガポール国立大学（NUS）と香港中文大学（CUHK）は、脳活動のデータから動画を生成するAIツールの開発に成功したと発表しました。
私たちが見ている静止画を脳のスキャンデータから復元するAIはすでにありましたが、今回はそれを動画に発展させています。
この技術が確立されれば、睡眠中の脳活動を記録することで「夢の映像」を可視化するという未来も訪れるかもしれません。
研究の詳細は、2023年5月19日付でプレプリントサーバー『arXiv』に公開されています。
目次
- 脳活動から「見ている映像」を復元するAIを開発
脳活動から「見ている映像」を復元するAIを開発
ここ数年、AIによる画像生成の技術は目覚ましい発展を遂げています。
最近では、静止画を見ている最中の脳活動を記録し、その視覚情報をAIの言葉に変換して画像を復元する技術が報告されていました。
例えば、ネコの写真を見るだけで、AIは私たちが何を見ているかを知らなくても、脳活動だけをヒントに写真の内容を当てられるのです。
現時点ですでに80%という高い精度での画像復元に成功しています。
このニュースは当サイトでも記事にして取り上げました。
その一方で、私たちが見ている「動画」を脳活動データから復元する研究はごく少数に限られています。
研究チームは今回、この夢の技術の開発を試みました。
実験では、被験者に映像サンプルを見てもらいながら「磁気共鳴機能画像法（fMRI）」を用いて、脳活動の動きをリアルタイムで記録します。
しかし、fMRIは数秒に一度の間隔で脳活動のスナップ写真を取り込むので、これを画像化するだけでは質の悪い映像になってしまいます。
滑らかに見える映像は一般的に「1秒間に30フレーム」が標準だからです。
そこでチームは新たに、fMRIデータから時空間情報を学習するAIモデル「Mind-Video」を開発しました。
これまでの技術では、脳活動のデータをそのまま静止画として画像化していましたが、Mind-VideoはfMRIデータの時空間情報を学習することで、断続的に得られた画像の間を埋めて滑らかに繋ぐことができます。
そして被験者に映像サンプルを見てもらいながら訓練を続けた結果、Mind-Videoは85%という高い精度で、映像の視覚情報や動きのダイナミクスを復元できるようになったのです。
こちらは被験者に見てもらった映像サンプル（左）とMind-Videoが生成した映像（右）です。
研究者は「基本的な物体や動物、人間、シーンの状況を脳活動のスキャンデータのみから高い精度で復元できた」といいます。
また「さらに重要なのは、走る・踊る・歌うなどの動作や、速い動きのシーン、街並みのロングショットのシーンなど、映像のダイナミクスも正しく再構成できたことです」と続けています。
脳活動のデータだけでこれほど正確な映像が復元できるとは驚くべきことです。
正確に同じ画像を出力できるわけではないものの、見ている動物の種類、ロケーションなどは一致していて、人混みを見ているときはきちんと人混みの風景が再現されています。
睡眠中に見た「夢」を映像として残せる？
研究者は、この技術がさらに進歩して実用化されれば、日頃の中で思い描く思考イメージや、あるいは睡眠中に見た夢を映像として残せるようになるかもしれないと述べています。
私たちは平均して一晩に最大6回の夢を見ますが、目覚めた後の数分でその90%は忘れ去られてしまうとされています。
夢というのは創造的なアイデアをつかむための重要な場所です。
たとえば、ビートルズの名曲「Yesterday」のメロディーは、ポール・マッカートニーが夢の中で思いついたものだと言われています。
他にも夢の内容を自らの作品に活かした芸術家はたくさんいますが、せっかく見た夢を忘れてしまっては意味がありません。
しかし寝ている間に脳活動を記録し、それを翌朝にAIに映像化して見せてもらえるとしたらどうでしょう？
起きているときにはとても思いつけない斬新なアイデアが簡単に得られるようになるかもしれません。
参考文献
Mind-Video https://mind-video.com/ AI tool generates video from brain activity https://techxplore.com/news/2023-05-ai-tool-generates-video-brain.html元論文
Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity https://arxiv.org/abs/2305.11675