逐层对比学习挑出神经可见层,脑电图像检索准确率升至86.4%
一项预印本研究提出,通过逐层对比学习选择CLIP模型的中间层作为神经可见性最优层(NVOL),可改善脑电(EEG)信号与图像语义特征之间的跨模态对齐。在THINGS-EEG数据集上,基于NVOL的200-way图像检索平均Top-1准确率达78.1%,结合CSLS后升至86.4%。该框架还把检索与生成耦合,利用条件扩散先验重建受试者特异的NVOL特征,再映射至CLIP空间驱动Stable Diffusion XL生成图像,在语义与结构指标上优于单阶段末层扩散。该研究2026年9月2日上传至arXiv,尚未经同行评审。
推荐理由
脑电解码里跨模态对齐通常固定用CLIP末层,与神经信号的层级特性未必匹配。这项工作让对比学习自己挑中间层,并把检索与生成挂在同一表征上,对视觉解码的对齐方式有参考价值。