/ EN

新框架把人群共享表示与个体特征分开,脑信号生成图像仅需少量校准

内容概述 兰州大学、浙江大学、香港大学与中山大学的研究团队提出MindShow,一种在队列级训练设置下做多人共享fMRI到图像重建的统一生成框架,该研究2026年6月20日发表于《Medical Image Analysis》。现有基于fMRI的图像合成方法大多针对单个人,适配新个体需要大量数据。MindShow的核心是分层条件混合专家编码器,把人群共享的潜在表示与个体特有的神经特征分开,新受试者只需少量校准数据即可适配。多粒度最优传输损失让脑信号特征与预训练视觉语言模型对齐,最后由冻结的扩散模型生成图像。研究者称,MindShow提高了高层重建指标,同时保持了有竞争力的结构保真度。
推荐理由 视觉重建这条线一直卡在每个人都要单独训练一个模型,MindShow把共享表示和个体差异拆开处理,让新受试者少量校准就能用,是把fMRI解码往可规模化方向推的一步,对多人数据集的复用也有意义。

脑机百科消息(bciwiki.com),从fMRI信号重建人看到的画面可以不再逐人从头训练,兰州大学、浙江大学、香港大学与中山大学研究团队提出的MindShow框架让多人共用一个模型,换到新受试者只需少量校准数据,该研究2026年6月20日发表于《Medical Image Analysis》。

从脑活动重建视觉体验有望增强脑机接口,也有助于理解感知的基本机制。但研究者称,现有基于fMRI的深度学习图像合成方法大多是个人专属的,适配新个体需要大量数据,限制了可扩展性和转化潜力。MindShow的核心是一个分层条件混合专家编码器,把人群共享的潜在表示与个体特有的神经特征分离开,从而在有限校准数据下高效适配目标受试者。

这些表示随后经过门控Perceiver瓶颈处理,把fMRI特征自适应地映射成固定尺寸的图像和文本潜在token,以解决多尺度表示错位的问题。团队还引入多粒度最优传输损失,在样本和token两个层面把脑信号特征与预训练视觉语言模型的潜在空间对齐,再由一个冻结的扩散模型在这些对齐嵌入的引导下生成图像,力求保留所见内容的语义和大致布局。研究显示,MindShow提高了高层重建指标,同时保持了有竞争力的结构保真度,作者称这是迈向可扩展的多人共享神经解码的方法学一步。实现代码已在GitHub公开。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1

相关机构动态

2026-09 浙江大学 脑机接口训练改善卒中后上肢功能,35项试验涵盖1188名患者 2026-08 兰州大学 脑机接口治中风?疗效还达不到“显著改善” 2026-08 浙江大学 SSVEP脑机接口出实验室难在哪,综述列出瓶颈与解法 2026-07 浙江大学 植入越久信号越漂,UnSPC用伪标签循环拉回解码性能
阅读原文 ↗
指正 修订记录 · 无 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们