/ EN
2026-09-02 00:00 论文发表 基础与方法 译自 EN

逐层对比学习挑出神经可见层,脑电图像检索准确率升至86.4%

内容概述 一项预印本研究提出,通过逐层对比学习选择CLIP模型的中间层作为神经可见性最优层(NVOL),可改善脑电(EEG)信号与图像语义特征之间的跨模态对齐。在THINGS-EEG数据集上,基于NVOL的200-way图像检索平均Top-1准确率达78.1%,结合CSLS后升至86.4%。该框架还把检索与生成耦合,利用条件扩散先验重建受试者特异的NVOL特征,再映射至CLIP空间驱动Stable Diffusion XL生成图像,在语义与结构指标上优于单阶段末层扩散。该研究2026年9月2日上传至arXiv,尚未经同行评审。
推荐理由 脑电解码里跨模态对齐通常固定用CLIP末层,与神经信号的层级特性未必匹配。这项工作让对比学习自己挑中间层,并把检索与生成挂在同一表征上,对视觉解码的对齐方式有参考价值。

脑机百科消息(bciwiki.com),一项预印本研究提出,通过逐层对比学习为每个受试者选择CLIP模型的中间层作为神经可见性最优层(NVOL),可显著提升基于脑电(EEG)的视觉图像检索准确率。在THINGS-EEG数据集上,基于NVOL的200-way检索平均Top-1准确率达78.1%,结合跨域相似度局部缩放(CSLS)后升至86.4%。该研究由Minyi Wang、Zhenqin Wu、Rihui Li完成,于2026年9月2日上传至arXiv预印本平台(编号arXiv:2609.02582),尚未经同行评审。

研究指出,现有视觉解码流程大多直接将EEG特征与预训练视觉模型的语义特征对齐,但EEG信号携带多层次信息,这种做法忽视了不同视觉成分在神经信号中可见性的差异,导致跨模态不匹配。该框架通过逐层对比学习选出最大化检索性能的CLIP中间层作为NVOL,并在此基础上构建了检索与生成耦合的分层框架,其中检索分支融合多个NVOL特征,经对比学习与图像嵌入对齐,测试时应用CSLS缓解hubness问题;生成分支则利用条件扩散先验从EEG重建受试者特异的NVOL特征,再经轻量适配器映射至CLIP空间,驱动预训练的Stable Diffusion XL模型生成图像。实验显示,两阶段NVOL到语义的重建在语义与结构指标上均优于单阶段最终层扩散方法。

该研究由Minyi Wang、Zhenqin Wu、Rihui Li完成。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-09-02
阅读原文 ↗
指正 修订记录 · 无 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们