语音脑机接口不配GPU也行:云端小模型挑句子,错词率不输70亿参数大模型
语音神经假体从大脑活动中解码患者尝试说出的话,最后一步通常要用一个数十亿参数的语言模型给候选句子重新打分,这是整套系统里唯一需要GPU的环节。Gabriele Cinà于2026年9月27日在arXiv发布的研究改用托管模型Jev,一次调用给每个候选句子输出一个概率,再与解码器自身的评分结合。在一名渐冻症(ALS)参与者的978个保留句子上,已发表解码器单独使用时词错误率为8.1%,Jev为7.5%,OPT-6.7b与Qwen2.5-7B均为7.8%;重新调整解码器权重后,三者分别为6.9%、7.2%和7.4%。Jev不需要GPU,每千句成本0.07美元,经互联网的端到端延迟为262毫秒,慢于本地GPU上7B模型的27毫秒。该研究为预印本,尚未经同行评审。