DEAP: A Database for Emotion Analysis using Physiological Signals

论文：https://www.eecs.qmul.ac.uk/mmv/datasets/deap/doc/tac_special_issue_2011.pdf

代码数据下载：https://gitee.com/CodeStoreHub/deap-fat

数据集介绍

论文《DEAP: A Database for Emotion Analysis using Physiological Signals》（DEAP：使用生理信号进行情感分析的数据库）介绍了一个多模态数据集，旨在通过生理信号分析人类的情感状态。研究涉及32名参与者，他们观看了40段时长为一分钟的音乐视频片段，同时记录了他们的生理信号和脑电图（EEG）数据。参与者根据唤醒度（Arousal）、效价（Valence）、喜好度、支配感和熟悉度对视频进行评分。此外，22名参与者的正面面部视频也被录制。

论文的主要贡献和特点包括：

1. 多模态数据：结合了EEG、外围生理信号（如皮肤电导、心率和呼吸）以及面部视频数据，提供了丰富的情感分析数据源。

2. 刺激选择：视频片段通过一种新方法选择，该方法结合了last.fm网站的情感标签检索和自动视频高光检测，确保选取的内容能激发情感反应。

3. 分析与分类：研究探讨了EEG信号频率与参与者情感评分之间的关联。论文还提出了使用EEG、外围生理信号和多媒体内容分析对唤醒度、效价和喜好度进行单次试验分类的方法。

4. 数据库公开：该数据集已公开，鼓励其他研究人员使用该数据集测试他们的情感状态估计方法，从而推动情感计算领域的发展。

该数据集特别探索了通过音乐视频来引发的情感反应，并进行了相关的情感分类。这一研究对需要情感识别的系统（如自适应音乐视频推荐系统）具有重要意义，同时为情感计算领域做出了重要贡献。

代码介绍

一、主要方法概述

DGCNN（Dynamical Graph Convolutional Neural Network）有两个关键创新：

1. 动态图构建机制（Dynamic Graph Construction）：

   • 传统图卷积神经网络（GCNN）通常在训练前预定义邻接矩阵（adjacency matrix），表示图中节点（即 EEG 通道）之间的关系。

   • 提出 DGCNN 动态学习邻接矩阵，允许模型在训练过程中自适应调整 EEG 通道之间的权重关系，从而捕捉更加本质的功能连接（functional connectivity），而不是仅基于物理空间距离的连接。

2. 基于 Chebyshev 多项式的图卷积实现：

   • 图卷积通过谱域方法实现，利用图拉普拉斯矩阵（Laplacian）的特征分解构建图傅里叶变换。

   • 为了避免高计算成本，采用了 Chebyshev 多项式近似卷积核，极大提高了运算效率并保持了精度。

---

二、DGCNN 网络结构

完整的 DGCNN 框架由以下几部分组成（详见 Fig.2）：

1. 输入层：

   • 输入为多频段提取的 EEG 特征（如 δ, θ, α, β, γ 波段），每个通道是图中的一个节点。

2. 动态图卷积层：

   • 基于动态学习的邻接矩阵构建图卷积核，提取图结构中的空间特征。

3. 1×1 卷积层：

   • 跨通道进行特征融合，进一步挖掘不同频段之间的耦合特征。

4. ReLU 激活层：

   • 非线性变换，增强网络表示能力。

5. 全连接层 + Softmax 分类器：

   • 输出情绪分类结果，如正面/中性/负面，或维度分类（愉悦度valence、唤醒度arousal、主导性dominance）。

---

三、模型训练方法

使用交叉熵损失函数 + 正则化项：

Loss=CrossEntropy(l,lp)+α∥Q∥\text{Loss} = \text{CrossEntropy}(l, l_p) + \alpha \|Q\|Loss=CrossEntropy(l,lp​)+α∥Q∥

其中：

• lll 是真实标签；

• lpl_plp​ 是预测标签；

• QQQ 是模型参数；

• α\alphaα 是正则项权重。

通过反向传播（Backpropagation）计算损失函数对邻接矩阵中各元素的梯度，从而更新图结构参数：

W(new)=(1−r)W+r∂Loss∂WW^{(new)} = (1 - r)W + r \frac{\partial \text{Loss}}{\partial W}W(new)=(1−r)W+r∂W∂Loss​

---

四、实验结果

1. 在 DEAP 数据集上，DGCNN 在实验中达到了：

   • 最优平均准确率：75%（使用DE特征，5个频段）

   • 相比传统的 SVM、DBN 和静态 GCNN，均有显著提升。

---

五、创新点总结

• 图结构的动态学习：模型在训练过程中自适应学习EEG通道间的功能关系；

• 结合谱图理论与神经网络的融合建模；

• 泛化能力强：在跨被试（subject-independent）实验中依然保持高精度，优于传统迁移学习方法如 TCA、TPT、T-SVM。

代码预览

数据预览：