中 / EN
2026-09-28 00:00 论文发表 基础与方法 原文语言 EN

脑信号配对数据太少,研究者借机器人AI模型来读“想做什么动作”

内容概述 瘫痪患者用脑机接口控制外部设备,难点之一是配对的神经信号与动作数据太少,解码模型很难训练充分。常规做法是针对具体任务学习从神经活动到运动学参数的映射,这类数据的稀缺直接限制了模型能力。研究团队提出BrainVLA框架,借用已在大量机器人数据上预训练的视觉-语言-动作模型:先构建包含神经活动、动作信号、语言指令和渲染视觉观测的配对数据集,通过LoRA微调把OpenVLA-OFT策略适配到目标动作空间,再把神经活动与语言表征对齐,从中提取“想做什么”的意图信号,由该模型结合视觉画面生成可执行的动作。在两个动作维度不同的神经运动数据集上,该框架的跨会话解码R²和任务成功率均优于所评估的基线方法,训练数据效率也较高。该研究为预印本,尚未经同行评审。
推荐理由 运动解码通常要为每项任务单独训练映射,受限于稀缺的配对数据。这项工作改为借用机器人领域的大规模预训练模型,用语言作为神经信号与动作之间的桥梁。不过它只在2个离线数据集上做了评估,摘要未给出具体数值,尚未经同行评审。

脑机百科消息(bciwiki.com),研究人员提出一个名为BrainVLA的框架,借助预训练的视觉-语言-动作(VLA)模型解码运动意图,在两个神经运动数据集上的跨会话解码R²和任务成功率均优于所评估的基线方法。相关论文于2026年9月28日上传至预印本平台arXiv,尚未经同行评审,作者为Luyao Jin、Running Zhao、Huan Zhao、Vincent C. K. Cheung和Wei-Hsin Liao。

运动脑机接口的目标是解码运动意图,让瘫痪患者控制外部设备。常规做法是针对具体任务学习从神经活动到运动学参数的映射,但配对的神经信号与动作数据十分稀缺,限制了模型训练。BrainVLA的思路是借用VLA策略中已有的先验,减少对这类配对数据的依赖。

具体做法分三步。研究人员先构建与VLA兼容的数据集,包含配对的神经活动、动作信号、语言指令和渲染出的视觉观测;再通过LoRA微调,把OpenVLA-OFT策略适配到目标动作空间;最后以语言表征作为语义目标,通过神经-语言对齐训练一个神经编码器,从神经活动中提取潜在的运动意图。得到的神经表征作为内源性意图信号,引导VLA策略生成可执行动作,视觉观测则补充任务状态变化的信息。

评估采用因果展开解码,在两个动作维度不同的神经运动数据集上进行。据论文摘要,BrainVLA除在跨会话解码R²和任务成功率上优于基线外,还表现出较高的训练数据效率。作者认为,这为神经运动解码通过脑条件化的VLA策略利用大规模机器人先验提供了一条路径。摘要未披露具体数值,也未说明数据集来源与采集方式。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-09-28
阅读原文 ↗
指正 修订记录 · 无 中 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们