中 / EN
2026-09-27 00:00 论文发表 沟通与语言 原文语言 EN

语音脑机接口不配GPU也行:云端小模型挑句子,错词率不输70亿参数大模型

内容概述 语音神经假体从大脑活动中解码患者尝试说出的话,最后一步通常要用一个数十亿参数的语言模型给候选句子重新打分,这是整套系统里唯一需要GPU的环节。Gabriele Cinà于2026年9月27日在arXiv发布的研究改用托管模型Jev,一次调用给每个候选句子输出一个概率,再与解码器自身的评分结合。在一名渐冻症(ALS)参与者的978个保留句子上,已发表解码器单独使用时词错误率为8.1%,Jev为7.5%,OPT-6.7b与Qwen2.5-7B均为7.8%;重新调整解码器权重后,三者分别为6.9%、7.2%和7.4%。Jev不需要GPU,每千句成本0.07美元,经互联网的端到端延迟为262毫秒,慢于本地GPU上7B模型的27毫秒。该研究为预印本,尚未经同行评审。
推荐理由 语音脑机接口若要走出实验室,每位用户配一块GPU跑大模型的成本是现实障碍。这项工作显示托管小模型在重排环节可与7B模型打平甚至略优,但延迟262毫秒,慢于本地GPU的27毫秒,且数据只来自1名ALS参与者。

脑机百科消息(bciwiki.com),一项2026年9月27日上传至arXiv的预印本研究显示,用托管模型Jev替代数十亿参数的语言模型为语音神经假体重排候选句子,在一名渐冻症(ALS)参与者的978个保留句子上取得7.5%的词错误率,低于OPT-6.7b与Qwen2.5-7B的7.8%。作者为Gabriele Cinà,研究尚未经同行评审。

语音神经假体从大脑活动中解码患者尝试说出的话,最后一步用语言模型对解码器给出的候选句子重新评分,这是整套系统里唯一需要GPU的组件。作者指出,通用语言模型从列表中挑选句子时,往往依据标签在列表中的位置作答,而非句子本身。研究因此把重排设为一次类型化决策:一次调用为每个候选句返回一个概率,再与解码器自身的评分结合。

已发表的解码器单独使用时词错误率为8.1%。重新调整解码器权重后,Jev的词错误率为6.9%,OPT-6.7b与Qwen2.5-7B分别为7.2%和7.4%。据作者报告,Jev在全部4组比较中领先,在95%置信界上最多落后0.2个百分点。

成本方面,Jev每千句0.07美元,无需GPU;作者估算,专用GPU运行7B模型只有在利用率超过43%时单句成本才更低,远高于单一用户的使用量。经互联网的端到端延迟为262毫秒,其中62毫秒花在服务端,与本地GPU上运行7B模型(27毫秒)处于同一量级,但并不更快。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-09-27
阅读原文 ↗
指正 修订记录 · 无 中 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们