BEND-BCI覆盖运动、视觉、言语和空间四类解码任务,跨16个真实或合成的神经记录,比较23种方法在四个维度上的表现:留出预测、对输入扰动的稳健性、计算成本,以及跨记录的潜在表征一致性。结果显示,加入后三个维度后,解码器的排名经常发生变化;留出准确率不能可靠识别出最稳健、最高效或跨记录最一致的模型。较简单的基线方法与参数量大得多的深度神经网络相当,某些情况下表现更好。
研究还用可解释机器学习做了诊断分析,发现解码器的表现与其是否利用了预期中的神经特征有关,并可通过挑选高质量训练试次得到改善。作者认为,BEND-BCI把解码器选型从一张准确率排行榜,重新定义为在任务、资源、表征和诊断目标之间做的一次约束决策。需要说明的是,该基准的部分评测记录为合成数据,且论文尚未经过同行评审。