中 / EN
2026-10-09 00:00 论文发表 基础与方法 原文语言 EN

脑活动解码覆盖图像与视频,Neurons++统一重建框架

内容概述 研究者提出Neurons++,尝试从功能磁共振成像记录的脑活动中重建静态图像和动态视频,并检查生成内容与脑信号之间的联系。该框架先利用图像与脑活动配对数据预训练,再针对每位受试者分别微调图像和视频重建任务。作者报告,其视频重建在标准基准上达到当前领先水平,图像重建也具有竞争力。研究还通过神经信号扰动、皮层特征敏感性分析和特定脑区引导的语义调节,探索输出是否响应脑信号变化。这些分析提供的是模型行为层面的证据,不等同于已经证明生成内容忠实还原了人的视觉体验。本研究为预印本,尚未经同行评审。
推荐理由 生成画面看起来合理,并不代表它准确反映了脑活动。这项研究除比较重建表现外,还改变神经信号输入、检查输出如何响应,为区分模型生成能力与脑信号贡献提供了具体分析角度。

脑机百科消息(bciwiki.com),据arXiv,2026-10-09上传至该平台的预印本提出Neurons++,用于从功能磁共振成像(fMRI)记录中重建静态图像和动态视频。该预印本未经同行评审。研究关注的不只是生成画面是否逼真,还包括输出是否确实以脑活动为依据;作者将这一问题与理解人类感知及开发脑机接口联系起来。

与此前仅面向视频重建的会议版本Neurons相比,Neurons++将任务扩展至图像和视频,并以受皮层启发的串行解码取代并行任务条件设计。模型先通过图像与fMRI配对数据预训练,建立空间和语义表征的初始基础,再针对每位受试者分别微调图像与视频重建任务。串行设计将源自fMRI的表征组织为空间、语义、语言层面及时间线索。

作者报告,Neurons++在标准基准上的视频重建达到当前领先水平,图像重建具有竞争力。在神经信号与视觉输出关系的分析中,作者观察到:对神经信号施加扰动时,输出呈现定性的定向可控性;fMRI编码器读出对与刺激相关的皮层特征敏感;模型还支持由感兴趣脑区(ROI)引导的语义调节。这些结果描述的是模型在相关测试中的响应,不应等同于对视觉体验忠实还原程度的全面验证。论文称代码和模型权重已公开。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-10-09
阅读原文 ↗
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们