中 / EN
2026-10-14 00:00 论文发表 基础与方法 原文语言 EN

研究将脑电与文本对齐,探索想象语音的语义解码

内容概述 研究人员将想象说话时的脑电信号与文本的语言表示对齐,希望在识别固定意图之外,利用不同表达之间的语义关系。研究在Chisco想象语音数据集的5名受试者、39个意图类别上评估了这一框架,解码表现与针对该任务优化的闭集分类器相当。脑电与文本的最大相似度还能筛选出Top-1和Top-5准确率更高的留出试验子集。五个语义维度的平均一致率均高于50%的机会水平参照;对未见候选句子的比较则属于定性展示,不能据此认定系统已能自由读取任意想象语句。
推荐理由 这项研究把识别固定意图与比较句子含义放进同一个表示空间。其可靠性指标来自脑电与文本的相似度,可用于排列试验的可信程度,但筛选子集的准确率提高不等于全部试验的解码表现提高。

脑机百科消息(bciwiki.com),据arXiv,Shahryar G. Namdari、Francesco Iacomi、Riccardo Barbieri和Luca Mainardi于2026年10月14日在该平台上传了想象语音解码研究预印本,未经同行评审。研究将脑电信号与文本的语言表示对齐,探索非侵入式脑机接口能否在识别固定意图的同时,保留表达之间的语义关系。

传统闭集分类器只能在预先设定的类别中选择输出,通常将语义类别视为彼此独立的标签。该研究采用多模态对比学习,将脑电试验数据映射到冻结预训练文本编码器的嵌入空间,即用于比较语言表示的数值空间。脑电编码器的训练目标结合语义重加权的脑电—句子对齐与基于文本原型的类别区分,以兼顾语义结构和39个意图类别之间的可区分性。

研究在Chisco想象语音数据集的5名受试者上开展评估,报告Top-k准确率、宏平均F1和均衡成对匹配准确率(2v2)。该框架的解码表现与针对任务优化的闭集分类器相当。最大脑电—文本余弦相似度(MaxCosine)作为候选可靠性指标,在各受试者的留出试验中识别出了Top-1和Top-5准确率更高的子集;这一结果反映的是子集筛选,而非全部试验准确率的提升。

研究还使用五个评估阶段的语义轴及定性的语义画廊探针(SGP)考察类别标签之外的语义结构。五个维度的平均一致率均高于50%的机会水平参照,SGP则展示了脑电表示与此前未见候选句子的直接比较。作者据此认为,脑电—语言对齐可能在保留固定意图解码表现的同时,支持基于相似度的检索、内在可靠性排序和更广泛的语义结构评估;定性展示并不等于已验证任意想象语句的自由解码。

本文由 BCIwiki 根据公开信息撰写

关联信源 · 1
arxiv.org 2026-10-14
阅读原文 ↗
指正 修订记录 · 无 中 / EN
© 2026 BCIwiki.com 产业简报 主题索引 提交线索 订阅本站 修订记录 关于我们