研究让参与者在听觉想象和视觉想象两类任务中接受MEG记录,并把信号溯源到各自感觉模态对应的皮层感兴趣区。团队在同一被试内分类框架下比较了CNN与线性逻辑回归模型,两种方法都取得了高于随机的解码准确率,CNN在两个任务上均优于线性模型。
一个关键结果是跨模态表现:即使只用与当前任务无关的皮层区域训练模型,CNN仍能达到显著解码水平。作者据此认为,想象出来的刺激并非局限于单一感觉区,而是分布在跨模态、部分重叠的神经网络中。
论文指出,这种跨模态解码能力提示深度学习模型可以捕捉复杂的多模态神经模式,未来的脑机接口设计或可从整合听觉与视觉信息中获益,并指向更灵活、更个性化的解码方案。研究为认知神经科学与脑机接口两个方向都提供了参考,但样本量较小,结论仍需更大规模验证。