近日，星网锐捷旗下福建星启灵知智能科技有限公司联合香港科技大学（广州）陈晋泰教授领衔的ML4H（Machine Learning for Healthcare）团队，在脑电人工智能与多模态智能分析领域取得最新研究进展。
双方共同研发的脑电多模态人工智能方法EEGBind，入选ACM Multimedia 2026。作为国际计算机学会（ACM）主办的计算机多媒体领域顶级国际学术会议，ACM MM 长期关注多媒体理解、多模态学习、人工智能等方向的前沿研究，同时也是中国计算机学会（CCF）推荐的计算机图形学与多媒体领域 A 类国际学术会议。
此次研究聚焦脑电信号的区域特征分析，通过构建以 EEG 为核心的多模态学习框架，探索 AI 如何从复杂脑电信号中提取更具区分度的空间与时序特征，并提升模型在复杂信息环境下的稳定分析能力。
从一段脑电中提取更具来源判别能力的特征
对于普通人来说，脑电信号可能只是复杂的“波浪线”；但对于人工智能而言，这些连续变化的波形中，包含着丰富的时间、空间与信号形态信息。
传统的人工智能方法，可以帮助判断一段脑电中有没有这类异常活动。
但本次研究希望让AI从复杂的波形变化中，判断这些信号更接近哪些脑电来源区域特征。
研究将脑电信号按照不同来源区域特征进行分类，包括全脑广泛型、额区、颞区、枕区以及中央-顶区。这意味着，模型不仅需要“看见”脑电信号，还需要从短时、复杂且具有个体差异的 EEG 数据中，提取能够反映空间分布与信号形态差异的关键特征。
图｜五类脑电源区典型案例
脑电与辅助信息融合，以多模型共同完成AI判断
在传统采集过程中，脑电信号往往与同步视频一同采集，以同步视频记录的患者动作、姿态以及当时状态等信息，为脑电判断异常活动的来源提供背景信息。
研究团队希望让AI判断脑电与视频的结合信息。团队构建了 EEG-centric multimodal binding 框架，将 EEG 作为主要信息来源，同时引入与脑电同步的视频信息作为辅助上下文。模型首先从 EEG 中提取核心表征，再将同步视频信息作为辅助证据进行多模态绑定，最终完成五类 IED 来源区域的分类。整个系统主要包含三个环节：脑电与辅助信息融合 → 信息受到干扰时进行修复 → 多个模型共同完成判断。
◇ 图｜EEGBind整体方法框架让AI在信息不完整的时候依然保持可靠
当“辅助信息”不完整，如果 AI 太依赖视频，就可能影响最终判断。所以，EEGBind又加入了 View-Consistent Repair（视图一致性修复）。研究过程中，团队会主动对部分视频信息进行丢弃或遮蔽，让模型学习在辅助信息发生变化时，仍然尽可能保持稳定的脑电表征和分类结果，让 AI 在信息不完整的时候依然保持可靠。
持续提升AI的准确性
研究团队使用 Weighted-F1 作为主要评价指标，对不同方法进行了比较。
从最初仅使用 EEG 的0.6444，到引入 EEG-centric 多模态绑定后的 0.8019，经过视图一致性修复等机制进一步提升至 0.8282，最终，五折模型在 NeuroMM 2026 Grand Challenge Track 3（NMM-Source-IED）官方评测中取得 0.8395 Weighted-F1，在该赛道所有参评方法中排名第一。
该任务并不是简单判断“有没有异常脑电”，而是针对已经确认含有 IED 的脑电候选片段，进一步判断其属于全脑、额区、颞区、枕区或中央-顶区五类源区中的哪一类。
从“看见信号”，到“理解信号”
近年来，人工智能正在从针对单一任务训练的专用模型，逐步走向能够处理更加复杂信息的基础模型（Foundation Model）和多模态大模型。
对脑电而言，真正有价值的并不只是让模型“读懂一条波形”，而是让 AI 能够同时理解时间变化、空间分布、生理信号以及不同模态之间的关联。
EEGBind的探索正是在这一方向上的一次尝试：以 EEG 作为核心信息，通过多模态绑定引入同步视频等辅助信息，让模型从不同信息之间建立关联，什么信息应该作为核心，什么信息适合辅助，以及当信息不完整时，AI还能不能保持稳定。
这也是 EEGBind 希望解决的核心问题。
图｜EEGBind学习到的五类脑电源区表征空间
论文链接：https://arxiv.org/pdf/2609.09728v1
此次研究，是星启灵知在脑电人工智能与多模态智能分析方向的一次技术积累。作为一家面向情绪心理健康和睡眠健康的人工智能公司，星启灵知持续关注脑电、生理信号与人工智能技术的融合，探索如何让复杂的生理信号被更好地采集、分析和理解。
未来，星网锐捷将继续深耕核心领域自主创新的同时，加强与高校及科研团队的联合创新，推动AI技术在更多领域进一步探索，将AI能力向更多产业场景辐射，以AI感知与理解之力，助力数字经济发展。
精彩评论