MBrainTrain

北京航空航天大学和清华大学的研究人员提出一种多模态对比学习框架，将脑电（EEG）与同步视频和运动数据配对，用于检测虚拟现实中的晕动症。研究发现，融合三种信号比任何单一模态或两两组合都更准确，且模型能自动剔除与晕动症无关的前额叶连接。研究使用mbt的Smarting PRO 32通道无线脑电系统和Pico 4 Ultra头显，29名健康成年人在主动导航的虚拟场景中参与实验。该研究将脑电信号构建为连接图，并利用注意力编码器将视频和运动数据映射到相同结构，使得分离晕动与非晕动状态的边界最清晰。