脑磁图加深度学习解码听觉与视觉想象,视觉任务准确率超七成
研究团队让18名右利手参与者分别想象声音和画面,同时用脑磁图记录脑信号,再比较卷积神经网络与线性逻辑回归两种解码模型。卷积神经网络在两个任务上都高于随机水平,视觉想象的准确率超过70%。更值得注意的是,即使只用与当前任务无关的皮层区域训练,模型仍能显著解码,说明想象内容并非局限于单一感觉区,而是分布在有重叠的神经网络里。这为把听觉与视觉信息一起纳入脑机接口解码提供了实验依据。
推荐理由
这项研究把“想象声音”和“想象画面”放在同一套脑磁图数据里比较,并用深度学习模型证明两者在皮层上的表征相互重叠,连与任务无关的脑区都带着可解码的信息。对脑机接口而言,这意味着未来的解码器不必死盯某一个感觉区,多模态信息可以互为补充,但样本只有18人,离实际可用的系统还有距离。