中 / EN
2026-10-09 00:00 论文发表 基础与方法 原文语言 EN

语言描述辅助脑信号解码,语音任务准确率最多提高17.15个百分点

内容概述 研究者用自然语言描述待识别的类别,帮助模型学习脑信号与类别之间的对应关系,并在视觉、运动和语音解码任务中评估这一方法。研究覆盖七种编码器架构,使用头皮和颅内记录,各任务模型独立训练。与匹配的类别标签监督基线相比,语音解码准确率最多提高17.15个百分点。研究还报告,所学表征支持候选类别集合复用,以及有标签监督的受试者和会话适配;在稳态视觉诱发电位任务中,可在特定条件下解码训练中未见过的频率。这些结果并不代表一个统一模型已能直接完成全部任务,或无需标签即可适配新受试者。本研究为预印本,尚未经同行评审。
推荐理由 这项研究把语言用于描述待识别的类别,而不是把脑信号直接翻译成自由文本。其双侧归因可视化同时呈现神经输入和文本对同一匹配分数的贡献,为检查模型如何作出分类提供了具体角度。

脑机百科消息(bciwiki.com),据arXiv,2026-10-09上传至该平台的预印本《Teaching Neural Decoders with Language》提出“语言作为监督”(Language as Supervision,LaS)方法,用自然语言类别描述辅助脑机接口的神经信号解码。该预印本未经同行评审。研究针对的问题是:传统类别标签监督(CLS)并未明确表达类别之间的关系,而文字描述可能为模型提供更丰富的学习参照。

LaS通过学习得到的投影,将神经特征与自然语言类别描述对齐,再使用候选文本原型预测类别,即根据脑信号表征与各候选类别文本表征的匹配程度作出判断。研究评估了七种编码器架构,在头皮和颅内记录上分别开展视觉、运动和语音解码,模型独立训练。作者报告,与匹配的CLS基线相比,LaS使语音解码准确率最多提高17.15个百分点;这一数值是报告的最大增幅,并非所有任务或模型的共同提升。

作者还报告,所学表征支持候选类别集合复用,以及有标签监督的受试者和会话适配。在稳态视觉诱发电位(SSVEP)响应中,LaS可在特定条件下解码未见过的频率,正确的类别与描述对应关系支持这种泛化。研究通过双侧归因可视化,展示神经输入和文本对同一类别匹配分数的贡献。作者据此提出,文本描述可能成为神经解码学习与解释的通用参照;这些发现不等同于已证实的临床使用效果。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-10-09
阅读原文 ↗
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们