混合脑机接口的思路是用多种神经影像模态互补,弥补单一信号解码的固有短板。对脑电与功能性近红外光谱这一组合而言,难点在于近红外空间定位能力强但血流动力学响应存在延迟,脑电则具备毫秒级时间分辨率但空间信息有限,两者在时间和空间上并不对齐。EFS-Net通过基于空间校准的多尺度时空融合架构来处理这一错位。
网络由三条功能互补的分支组成:多尺度时间卷积分支负责捕捉脑电中快速变化的皮层电生理特征;脑电空间分支构建经延迟补偿的皮层地形图,以适配近红外较慢的血流动力学响应;空间校准的近红外分支则把空间特征图与脑电对应特征动态融合,生成时间对齐、空间增强的神经表征。研究在词语生成与心算两个公开数据集上采用逐被试留一次会话交叉验证进行评估,可视化结果显示该对齐策略能够还原较为真实的皮层空间分布特征。研究者来自华东理工大学、埃塞克斯大学等机构。