脑电数据集 MAHNOB-HCI下载

Gigavision · 2025-02-07 13:26:14 发布

情感计算的重要性：情感在人类生活中扮演核心角色，但科学界对情感的理解仍有限。情感计算（Affective Computing）旨在通过技术手段识别和理解人类情绪，这对心理学、人机交互（HCI）和多媒体应用（如内容检索）具有重要意义。
现有数据库的不足：过去的情感数据库多聚焦单一模态（如音频、视频或生理信号），且多为表演性（acted）情感数据，缺乏自然情境下的多模态同步记录。多模态数据库的构建因技术复杂性和设备多样性而受限。

目标：构建一个公开的多模态数据库，支持情感识别和隐式标记研究，促进跨模态融合算法的开发。
数据内容：
- 参与者：27人（11男，16女），来自不同文化和语言背景。
- 模态：32通道EEG（256Hz）、外周生理信号（ECG、GSR、呼吸幅度、皮肤温度）、6摄像头面部视频（60fps）、眼动数据（60Hz）、音频（44.1kHz）。
- 同步精度：所有模态通过硬件和软件同步，时间误差低于25微秒。
实验设计：
- 实验1（情感识别）：参与者观看20段情感视频（如恐惧、喜悦、中性），并通过自我报告标注情绪标签（关键词）及维度评分（唤醒度、效价、支配度、可预测性）。
- 实验2（隐式标记）：参与者观看28张图片和14段短视频，首次无标签，后续显示正确或错误标签，参与者通过按钮反馈是否同意标签。

情感刺激选择：
- 视频选自在线标注平台（如YouTube），涵盖6种基本情绪类别（厌恶、快乐、恐惧、悲伤、中性等）。
- 视频长度控制在34.9-117秒，以平衡情感诱发与参与者疲劳。
传感器与设备：
- 面部视频：6台摄像头（1台彩色，5台黑白）多角度捕捉面部表情和身体动作。
- 眼动追踪：Tobii X120设备记录注视点、瞳孔直径和眨眼频率。
- 生理信号：Biosemi Active II系统采集EEG，外周生理信号（ECG、GSR等）通过定制设备记录。
- 同步技术：利用音频接口（MOTU 8pre）记录触发信号，结合光敏二极管和串口时间戳实现多设备同步。

情感识别实验：
- 特征提取：
  - 生理信号：心率变异性（HRV）、皮肤电导（GSR）的时域与频域特征。
  - EEG：θ、α、β、γ频段的功率谱特征及左右脑区不对称性。
  - 眼动数据：瞳孔直径变化、注视点分布、扫视路径等。
- 分类方法：支持向量机（SVM）结合留一法交叉验证，融合多模态决策（如EEG与眼动）。
- 结果：
  - 单模态最高准确率：眼动数据（唤醒度63.5%，效价68.8%）。
  - 多模态融合（EEG+眼动）提升至唤醒度67.7%，效价76.1%。
隐式标记实验：
- 特征提取：
  - 面部表情：19个关键点跟踪（眉毛、眼睛、嘴唇的几何特征）。
  - 眼动数据：注视点分布、标签区域停留时间、扫视路径复杂度。
- 分类方法：隐马尔可夫模型（HMM）用于面部序列分析，Adaboost用于眼动特征分类。
- 结果：
  - 单参与者最佳准确率：眼动数据66%，面部表情62%。
  - 多参与者融合后，眼动数据最高达73%，结合面部特征后提升至75%。

数据库优势：高同步精度、多模态丰富性（首次同时包含EEG、眼动、生理信号和视频），支持跨模态研究。
挑战与改进：
- 数据一致性：外周生理信号因个体差异大，分类效果较差，需改进归一化方法。
- 实验设计：建议控制实验室环境（光照、噪音），优化刺激时长（避免多情绪混杂）。
- 参与者招募：避免依赖现金奖励，优先选择无视力矫正的参与者以减少眼动噪声。