脑机百科消息(bciwiki.com),据arXiv,2026-10-09上传至该平台的预印本提出Neurons++,用于从功能磁共振成像(fMRI)记录中重建静态图像和动态视频。该预印本未经同行评审。研究关注的不只是生成画面是否逼真,还包括输出是否确实以脑活动为依据;作者将这一问题与理解人类感知及开发脑机接口联系起来。
与此前仅面向视频重建的会议版本Neurons相比,Neurons++将任务扩展至图像和视频,并以受皮层启发的串行解码取代并行任务条件设计。模型先通过图像与fMRI配对数据预训练,建立空间和语义表征的初始基础,再针对每位受试者分别微调图像与视频重建任务。串行设计将源自fMRI的表征组织为空间、语义、语言层面及时间线索。
作者报告,Neurons++在标准基准上的视频重建达到当前领先水平,图像重建具有竞争力。在神经信号与视觉输出关系的分析中,作者观察到:对神经信号施加扰动时,输出呈现定性的定向可控性;fMRI编码器读出对与刺激相关的皮层特征敏感;模型还支持由感兴趣脑区(ROI)引导的语义调节。这些结果描述的是模型在相关测试中的响应,不应等同于对视觉体验忠实还原程度的全面验证。论文称代码和模型权重已公开。