中 / EN
2026-09-25 00:00 论文发表 沟通与语言 原文语言 EN

融合功能磁共振与脑磁图的新方法提升跨被试语音解码准确率

内容概述 研究人员提出名为SICMD的方法,把功能磁共振成像(fMRI)和脑磁图(MEG)两种非侵入式脑信号结合起来,从大脑活动中识别一个人正在听的语音,并且让同一个模型适用于不同的人。fMRI擅长定位活动发生在哪里,MEG擅长捕捉活动发生的时间,两者结合可以得到更完整的时空信息。在跨被试的感知语音解码任务中,该方法的Top-1、Top-10和Rankacc三项指标比基线方法分别提高10.6%、10.1%和1.7%以上。与多被试解码和被试内解码相比,训练成本分别降低88.8%和60.5%。该研究为预印本,尚未经同行评审。
推荐理由 用脑信号解码语音,通常要为每个人单独采集大量数据训练模型。这项工作同时处理两个难题:用两种信号补足时空信息,并让模型跨人通用,训练成本最多降低88.8%。但它只解码“听到”的语音,不是想说的话,且仅为提交至ICASSP 2027的会议预印本。

脑机百科消息(bciwiki.com),研究人员提出一种名为SICMD(Subject-Invariant Cross-Modal Perceived Speech Decoding)的感知语音解码方法,在跨被试任务中将Top-1、Top-10和Rankacc指标分别较基线方法提高10.6%、10.1%和1.7%以上。据arXiv显示,该论文由Aoke Zhang和Jing Chen撰写,于2026年9月25日上传至arXiv,作者注明已提交至ICASSP 2027,尚未经同行评审。

作者指出,基于非侵入式脑机接口信号的感知语音解码近年研究较多,主要面临两个难题:一是提取包含丰富时空信息的神经表征,二是实现跨被试泛化。此前已有研究分别应对这两个问题,但缺少同时处理两者的统一方法。SICMD整合了功能磁共振成像(fMRI)和脑磁图(MEG)两种信号来填补这一空白。

研究团队对融合方式、融合位置、编码器结构和模型输入做了系统分析。论文称,与多被试解码和被试内解码设置相比,该方法的训练成本分别降低88.8%和60.5%,可视化实验也支持其有效性。

需要注明的是,该研究解码的是被试听到的语音,而非其想要表达的语言;fMRI和MEG设备体积较大,目前主要用于实验室研究。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-09-25
阅读原文 ↗
指正 修订记录 · 无 中 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们