脑机百科消息(bciwiki.com),一项2026年8月27日上传至medRxiv的预印本研究构建了模拟基准,测试20个开源大语言模型纠正P300脑机接口拼写器输出文本时的表现。研究发现,模型纠错后的句子虽然通顺,但可能已经改变了用户的原意——研究团队将这一现象命名为"意图漂移"。在字符错误率从0%升至40%的五个梯度下,意图漂移率从2.2%急升至60.3%,每增加10个百分点的字符错误率,漂移的比值比为2.30。该研究尚未经同行评审。
研究使用了渐冻症患者信息库中的完整词汇集,以及一组涉及药物剂量等临床关键内容的句子及其匹配对照组。总计4,252,326条模型输出经自动评分系统判定为"忠实""降级"或"漂移",该评分系统以医师判断为基准。结果显示,模型置信度在区分正确与错误输出方面表现尚可(AUROC 0.83),但校准不足:28.4%的高置信度输出实际上并不忠实于原意。临床关键信息的漂移率略高于匹配对照(比值比1.10)。
研究还对比了六种纠错策略在7个模型上的表现,发现没有任何策略能消除意图漂移:保守策略可降低漂移,宽松策略则会加剧漂移,表现最好的策略每100次纠正仍有18次产生错误结果。研究团队指出,在将大语言模型纠错功能部署到脑机接口通信系统之前,评估应纳入"意义保持"这一指标,而不仅仅衡量速度和准确率,并需要前瞻性的人机协作评估。该研究由以色列兰巴姆医疗中心(Rambam Health Care Campus)的研究人员参与完成,由哈佛催化剂项目(CTSA UL1TR002541)资助。