脳スキャンから見ている画像を再現するAIツールを開発

イスラエルのワイツマン科学研究所のMichal Irani氏と同僚らは、fMRI脳スキャンデータから人が見ている画像を再構成するAIツールを開発した。このツールは、画像から脳活動を予測することもできる。technologyreview.comが報じた。

研究チームは、8人の被験者にそれぞれ約9,000枚の画像を見せ、高解像度fMRIスキャナーで取得したデータを用いてAIモデルを訓練した。脳デコーダーは2つの分岐を持ち、1つは画像の構造を、もう1つは画像の内容を予測する。拡散モデルがこれらの予測に基づいて再構成画像を生成する。

チームはまた、画像から脳活動を予測するエンコーダーを訓練し、デコーダーと組み合わせて両ツールの精度を向上させた。

神経科学者らは、fMRIを用いて人が見ているものを再構成する研究を長年続けてきたが、初期の試みではぼやけた画像しか得られなかった。他の研究チームも脳スキャンデータから画像を再現するツールを構築してきたが、Irani氏はこれらは十分に正確ではないと述べている。