脑机百科消息(bciwiki.com),研究人员提出一种名为SICMD(Subject-Invariant Cross-Modal Perceived Speech Decoding)的感知语音解码方法,在跨被试任务中将Top-1、Top-10和Rankacc指标分别较基线方法提高10.6%、10.1%和1.7%以上。据arXiv显示,该论文由Aoke Zhang和Jing Chen撰写,于2026年9月25日上传至arXiv,作者注明已提交至ICASSP 2027,尚未经同行评审。
作者指出,基于非侵入式脑机接口信号的感知语音解码近年研究较多,主要面临两个难题:一是提取包含丰富时空信息的神经表征,二是实现跨被试泛化。此前已有研究分别应对这两个问题,但缺少同时处理两者的统一方法。SICMD整合了功能磁共振成像(fMRI)和脑磁图(MEG)两种信号来填补这一空白。
研究团队对融合方式、融合位置、编码器结构和模型输入做了系统分析。论文称,与多被试解码和被试内解码设置相比,该方法的训练成本分别降低88.8%和60.5%,可视化实验也支持其有效性。
需要注明的是,该研究解码的是被试听到的语音,而非其想要表达的语言;fMRI和MEG设备体积较大,目前主要用于实验室研究。