中 / EN
2026-08-27 00:00 论文发表 基础与方法 原文语言 EN

大语言模型纠错脑机接口打字时会"偷换意思",20个模型基准测试量化了这一风险

内容概述 用大语言模型帮脑机接口用户纠正打字错误,纠出来的句子可能通顺但意思已经变了。研究团队称这种现象为"意图漂移"。在模拟P300拼写器输出的基准测试中,20个开源模型在字符错误率为0%时,意图漂移率为2.2%;错误率升至40%时,漂移率飙升至60.3%。模型自身的置信度能在一定程度上区分正确与错误输出(AUROC 0.83),但28.4%的高置信度输出实际上并不忠实于原意。涉及药物剂量等临床关键信息的句子比普通句子更容易漂移。六种纠错策略均无法消除漂移:保守策略能降低漂移,但最好的策略每100次纠正仍有18次出错。该研究为预印本,尚未经同行评审。
推荐理由 脑机接口用户(尤其是渐冻症患者)越来越依赖大语言模型纠正打字错误,但这项研究首次系统量化了纠错过程中意思被"偷换"的风险。28.4%的高置信度输出其实是错的,意味着仅靠模型自身的置信度无法为用户把关,涉及药物剂量等关键信息时尤其危险。

脑机百科消息(bciwiki.com),一项2026年8月27日上传至medRxiv的预印本研究构建了模拟基准,测试20个开源大语言模型纠正P300脑机接口拼写器输出文本时的表现。研究发现,模型纠错后的句子虽然通顺,但可能已经改变了用户的原意——研究团队将这一现象命名为"意图漂移"。在字符错误率从0%升至40%的五个梯度下,意图漂移率从2.2%急升至60.3%,每增加10个百分点的字符错误率,漂移的比值比为2.30。该研究尚未经同行评审。

研究使用了渐冻症患者信息库中的完整词汇集,以及一组涉及药物剂量等临床关键内容的句子及其匹配对照组。总计4,252,326条模型输出经自动评分系统判定为"忠实""降级"或"漂移",该评分系统以医师判断为基准。结果显示,模型置信度在区分正确与错误输出方面表现尚可(AUROC 0.83),但校准不足:28.4%的高置信度输出实际上并不忠实于原意。临床关键信息的漂移率略高于匹配对照(比值比1.10)。

研究还对比了六种纠错策略在7个模型上的表现,发现没有任何策略能消除意图漂移:保守策略可降低漂移,宽松策略则会加剧漂移,表现最好的策略每100次纠正仍有18次产生错误结果。研究团队指出,在将大语言模型纠错功能部署到脑机接口通信系统之前,评估应纳入"意义保持"这一指标,而不仅仅衡量速度和准确率,并需要前瞻性的人机协作评估。该研究由以色列兰巴姆医疗中心(Rambam Health Care Campus)的研究人员参与完成,由哈佛催化剂项目(CTSA UL1TR002541)资助。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
medrxiv.org 2026-08-27
阅读原文 ↗
指正 修订记录 · 无 中 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们