新AI能通过读取大脑活动重建你所看到的图像
内容摘要
研究人员开发了Brain-IT，一种通过分析fMRI脑活动来重建人正在观看的图像的AI系统。该系统基于Natural Scenes Dataset（包含8名参与者每人观看30-40次、共数千张图像的数据）训练，将语义和结构特征分离，并使用扩散模型生成既保留内容又保留空间布局的重建图像。在大多数评估指标上，其性能与领先方法相当，并且仅需一小时的新个体fMRI数据即可适应，与MindEye2等先前系统相当。团队还使用编码器-解码器循环，通过预测未见过图像的脑反应来扩展训练数据，但这些并非新的人类测量数据。尽管系统仍会犯错（例如把狗重建为山羊），但它是视觉重建领域的重要进步。提出的扩展应用包括解码梦境、帮助瘫痪患者交流以及使用EEG，但这些仍是推测性的，并引发了对心理隐私的伦理担忧。
(来源：The Brighter Side of News)