新しいAIが脳活動を読み取って見ているものを再構築

研究者らは、fMRI脳活動を分析して人が見ている画像を再構築するAIシステム「Brain-IT」を開発した。8人の参加者がそれぞれ30～40セッションで数千枚の画像を見たNatural Scenes Datasetで訓練され、このシステムは意味的特徴と構造的特徴を分離し、拡散モデルを用いて内容と空間配置の両方を保持する再構築画像を生成する。ほとんどの評価指標で最先端手法に匹敵する性能を示し、新しい個人のfMRIデータ1時間だけで適応でき、MindEye2などの従来システムと同等である。また、エンコーダー・デコーダーループを用いて未見画像への脳反応を予測することで訓練データを拡張したが、これらは新たな人間の測定値ではない。システムはまだ間違いを犯す（例：犬が山羊になる）が、視覚再構築における重要な進歩である。提案されている拡張応用には夢の解読、麻痺患者のコミュニケーション支援、EEGの使用が含まれるが、これらは推測的であり、精神 privacy に関する倫理的懸念を引き起こす。

(出典：The Brighter Side of News)