中国安全科学学报

作业类型	具体工作内容
监视作业	查看列车运行计划、查看列车实绩运行信息、查看列车运行状态、查看施工维修计划
通话作业	发布电话调度命令、各调度工种间联系、发布口头指示
操作记录作业	调度命令、交班事宜、安监报

作业类型	具体工作内容
监视作业	查看列车运行计划、查看列车实绩运行信息、查看列车运行状态、查看施工维修计划
通话作业	发布电话调度命令、各调度工种间联系、发布口头指示
操作记录作业	调度命令、交班事宜、安监报

指标	P 值	T	F 值
α	1.16×10^-40	16.16	7.42
β	9.00×10^-6	4.54	36.45
θ	5.01×10^-81	-28.73	4.46

指标	P 值	T	F 值
α	1.16×10^-40	16.16	7.42
β	9.00×10^-6	4.54	36.45
θ	5.01×10^-81	-28.73	4.46

指标	综合疲劳程度值	α波	β波	θ波
综合疲劳程度值	1.000	-0.720^**	-0.391^**	0.700^**
α波	-0.720^**	1.000	0.037	-0.318^**
β波	-0.391^**	0.037	1.000	-0.055
θ波	0.700^**	-0.318^**	-0.055	1.000

指标	综合疲劳程度值	α波	β波	θ波
综合疲劳程度值	1.000	-0.720^**	-0.391^**	0.700^**
α波	-0.720^**	1.000	0.037	-0.318^**
β波	-0.391^**	0.037	1.000	-0.055
θ波	0.700^**	-0.318^**	-0.055	1.000

模型	各状态准确率/%	AUC	运行环境及运行速度/ms
ResNet18+ SoftMax	95.83	85.83	96.67	92.78	0.93	GPU 2.724
MobileNet V2+SoftMax	100	97.5	100	99.17	0.945	GPU，5.585
SVM	93.3	87.5	92.3	91.6	0.91	CPU，速度慢

模型	各状态准确率/%	AUC	运行环境及运行速度/ms
ResNet18+ SoftMax	95.83	85.83	96.67	92.78	0.93	GPU 2.724
MobileNet V2+SoftMax	100	97.5	100	99.17	0.945	GPU，5.585
SVM	93.3	87.5	92.3	91.6	0.91	CPU，速度慢

基于脑电信号特征的高铁调度员疲劳状态识别

PDF下载

张光远 ¹^,²^,³ , 邓龙 ¹^,²^,³ , 王亚伟 ¹^,²^,³ , 孙自伟 ⁴ , 李莎 ¹^,²^,³ , 陈诚 ⁵

中国安全科学学报 | 职业卫生 2024,34(6): 235-246

收起

中国安全科学学报 | 职业卫生 2024, 34(6): 235-246

基于脑电信号特征的高铁调度员疲劳状态识别

全屏

张光远¹^,²^,³, 邓龙¹^,²^,³, 王亚伟¹^,²^,³, 孙自伟⁴, 李莎¹^,²^,³, 陈诚⁵

作者信息

¹ 西南交通大学交通运输与物流学院，四川成都 610031

² 西南交通大学综合交通运输智能化国家地方联合工程实验室，四川成都 610031

³ 西南交通大学综合交通大数据应用技术国家工程实验室，四川成都 610031

⁴ 西南交通大学信息科学与技术学院，四川成都 610031

⁵ 中国铁道科学研究院集团有限公司运输及经济研究所，北京 100081

张光远 (1979—)，男，辽宁庄河人，博士，高级实验师，主要从事铁路运输行车指挥与安全行为等方面的研究。E-mail：gyzhang@swjtu.cn。

Recognition of fatigue state of high-speed rail dispatchers based on EEG signal characteristics

Guangyuan ZHANG¹^,²^,³, Long DENG¹^,²^,³, Yawei WANG¹^,²^,³, Ziwei SUN⁴, Sha LI¹^,²^,³, Cheng CHEN⁵

Affiliations

¹ School of Transportation and Logistics，Southwest Jiaotong University，Chengdu Sichuan 610031，China

² National and Local Joint Engineering Laboratory of Integrated Transportation Intelligence，Southwest Jiaotong University，Chengdu Sichuan 610031，China

³ National Engineering Experiment of Integrated Transportation Big Data Application Technology，Southwest Jiaotong University，Chengdu Sichuan 610031，China

⁴ School of Information Science and Technology，Southwest Jiaotong University Chengdu，Sichuan 610031，China

⁵ Transportation and Economics Research Institute，China Academy of Railway Sciences Corporation Limited，Beijing 100081，China

出版时间: 2024-06-28 doi: 10.16265/j.cnki.issn1003-3033.2024.06.1674

文章导航

摘要

收起

为增强铁路行车的稳定性与安全性，有效识别调度员的疲劳状态对行车组织的影响，基于脑电(EEG)信号特征，提出一种调度员疲劳状态识别方法，根据作业时间段划分调度员的疲劳状态，设计高铁调度模拟试验获取脑电信号数据，通过小波级数展开和傅里叶变换提取高铁调度被试的3种脑电波频域幅值作为特征值，结合调度员作业特征和脑电信号特征，验证疲劳状态的划分结果，通过Python语言环境搭建ResNet18+SoftMax和MobileNet V2+SoftMax这2种模型，基于深度学习方法，将输入特征转换为三维立体矩形模型，并优化调整权重，获得最优模型，从而判断高铁调度员的疲劳状态。研究结果表明：ResNet18+SoftMax和MobileNet V2+SoftMax神经网络模型对高铁调度试验参与人员的疲劳状态识别准确率分别为92.78%和99.17%;相较于支持向量机(SVM)模型，这2种模型可提升清醒状态和疲劳状态的识别精度，并降低运算时间，其中，MobileNet V2+SoftMax模型的识别准确率和运行速度最优。以MobileNet V2+SoftMax模型原理为内核，可以更快速准确地识别高铁调度员在长时间作业条件下的潜在疲劳风险。

关键词

脑电(EEG)信号 / 高铁调度员 / 疲劳状态识别 / MobileNet V2网络 / ResNet18网络 / SoftMax回归

Abstract

收起

In order to enhance the stability and safety of railway driving and effectively identify the influence of the dispatcher's fatigue state on the driving organization，a method for identifying the fatigue state of the dispatcher was proposed based on the characteristics of EEG signals. The fatigue state of the dispatcher was divided according to the working time period，and the high-speed rail scheduling simulation experiment was designed to collect EEG data. The three types of brainwave frequency-domain amplitudes of high-speed rail dispatching subjects were extracted as the characteristic value by wavelet series expansion and Fourier transform，and the classification results of fatigue state were verified by combining the operation characteristics and EEG signal characteristics of dispatchers. The ResNet18+SoftMax model and MobileNet V2+SoftMax model were built through the Python language environment. The input features were converted into a three-dimensional rectangular model based on deep learning. The weights were optimized and adjusted to obtain the optimal model，so as to judge the fatigue state of high-speed rail dispatchers. The research results show that the fatigue state recognition accuracy of the participants in the high-speed rail scheduling experiment by ResNet18+SoftMax and MobileNet V2+SoftMax two models is 92.78% and 99.17%，respectively，compared with support vector machines(SVM) model to improve the awake state and fatigue state recognition accuracy，and reduce the model computing time. Among them，the MobileNet V2+SoftMax model can better identify the fatigue state of the dispatcher. With the principle of MobileNet V2+SoftMax model as the core，the potential fatigue risk of high-speed rail dispatchers under long-term working conditions can be identified more quickly and accurately.

Key words

electroencephalogram(EEG) signal / high-speed rail dispatcher / fatigue state recognition / MobileNet V2 network / ResNet18 network / SoftMax regression

引用本文

张光远, 邓龙, 王亚伟, 孙自伟, 李莎, 陈诚. 基于脑电信号特征的高铁调度员疲劳状态识别. 中国安全科学学报, 2024 , 34 (6) : 235 -246 . DOI: 10.16265/j.cnki.issn1003-3033.2024.06.1674

Guangyuan ZHANG, Long DENG, Yawei WANG, Ziwei SUN, Sha LI, Cheng CHEN. Recognition of fatigue state of high-speed rail dispatchers based on EEG signal characteristics[J]. China Safety Science Journal, 2024 , 34 (6) : 235 -246 . DOI: 10.16265/j.cnki.issn1003-3033.2024.06.1674

正文

收起

0 引言

收起

高速铁路调度指挥系统作为列车运行的中枢部门，在确保列车的运输安全、正常生产秩序以及高效节能方面起着非常重要的作用^[1]。在调度指挥系统核心岗位工作的列车调度员，在工作过程中由于精神处于高度集中状态，在经过12h轮班工作后，会产生不同程度的疲劳感，这会造成工作效率降低，事故率上升^[2]。据统计，由于调度失误导致的行车事故占比达到10.31%^[3]。因此，研究高铁调度员作业状态，并及时预警其疲劳状态，对保证铁路运输系统的安全可靠性具有重要意义。

精神生理状态是疲劳的一种外在表现方式，在疲劳初期，调度员精神生理状态比清醒情况下的偏离较小，当调度员感觉到疲劳时，其精神生理状态已经明显发生偏移^[4]。由于工作的单调性，高铁调度员的疲劳程度受到工作时间^[2]、生产作业任务量和工作环境^[5]的影响。在过去的几十年中，诸多学者通过各种技术手段来检测疲劳，主要分为3类：工作绩效测量方法和指标、心理生理学测量方法和指标(侵入式测量和非侵入式测量)、主观测量方法和指标。其中，脑电(Electroencephalogram，EEG)测量(侵入式测量)被认为是最准确的^[6]。

在脑电疲劳研究方面，用于检测疲劳的脑电指标主要有脑电波(δ波、θ波、α波和β波)、脑电波功率谱、脑电方程^[7]、信息熵^[8]。非侵入式方法主要通过视频记录下的图像通过识别技术测量眼部、嘴部等面部特征^[9]，如眨眼率、眨眼时长、眼球扫视运动、闭眼时长、点头频率等信息。文献[9]提出一种基于面部特征识别的空中交通管制员疲劳实时监测方法。文献[10]通过设置诱导疲劳的脑电试验，得出脑电波能显著表征疲劳状态，进而通过脑电波变化开发出检测不同疲劳程度的算法。文献[11]发现，疲劳通常会导致α频段的变化。文献[12]通过通过小波变换模型提取δ、θ、α、β脑电波，采用随机森林回归算法建立识别模型来快速识别脑力疲劳，且获得较高的准确率。文献[13]验证了频段分布特征与疲劳状态之间存在高度相关性。上述研究采用不同角度检测疲劳，但存在以下问题：①使用的测量方法比较单一，可能会造成不够可靠的结果。②传统的机器学习模型在脑电这类较为复杂的数据方面表现不佳，导致疲劳识别准确率不高。

因此，拟综合考虑高铁调度员作业特点及生理特点，采用小波级数展开及傅里叶变换，提取高铁调度员的脑电信号特征，结合多种特征值信息的融合，构建ResNet18+SoftMax和MobileNet V2+SoftMax这2种疲劳状态识别模型，检测调度员的疲劳状态，从而得到更为可靠的高铁调度员疲劳判定结果，以期避免因调度员疲劳造成的事故，进而保证铁路运输的安全性和可靠性。

1 高铁调度员疲劳状态等级划分

收起

研究表明：调度员在工作5h后会产生精神疲劳，工作8h后会产生明显疲劳^[14]。因此，以时间段划分疲劳等级是比较常用的划分方法^[15]。此外，后续模拟调度试验拟采用卡罗琳斯卡嗜睡量表(Karolinska Sleepiness Scale，KSS)^[16]采集被试主观数据，且部分研究会将KSS分为三级来进行疲劳状态识别。根据调度员的实际工作时间安排和KSS的分级情况，划分高铁调度员的疲劳状态等级，即在调度员工作4h内，调度员处理工作任务的决策能力较强，精神状态较好，规定此时调度员的疲劳状态为清醒；调度员工作4~8 h为轻度疲劳状态；在工作8~12 h调度员会出现明显的疲劳，反应能力和决策能力有所下降，处理事件的效率降低，此时的状态为疲劳。

2 脑电信号特征提取及疲劳状态识别

收起

以调度员脑电信号特征和融合的主观值信息(KSS值、调度员工作负荷DORATASK值及疲劳特征值)表征高铁列车调度员疲劳程度识别结果。

2.1 脑电信号特征提取

主导人体疲劳的脑电波可分为快波(α波、β波)和慢波(θ波、δ波)。研究发现，脑电波的主导波可以反映人体的疲劳程度，随着疲劳程度增加，慢波增加，快波减少，大脑皮层受到抑制。在正常成年人在深度睡眠状态下，可以检测到δ波，由于调度员在工作过程中不可能处于睡眠状态，因此，δ波可忽略不计。当高铁调度员处于警觉状态时，β波增强，θ波减少；当高铁调度员处于疲劳状态时，β波减少，θ波增加；当高铁调度员出现放松、冷静、闭上眼睛或者醒过来时α波出现^[17]。

采用脑电仪提取不同电极下的原始数据，并对原始脑电指标作预处理，主要步骤包括：电极定位；移除无用电极；选用双侧乳突平均参考，对脑电信号进行0.1~30 Hz带通滤波；对数据进行独立成分分析(Independent Component Analysis，ICA);对脑电数据进行基线矫正、剔除坏段并手动去除伪迹。

经处理后得到有关疲劳的频率区间内的原始脑电数据。为有效探求α波、β波、θ波3种脑电测量指标随调度员疲劳的变化规律，先利用小波变换提取原始脑电数据的3种波形的时域幅值，再经傅里叶变换得到3种波形的频域幅值作为脑电疲劳特征指标，计算过程如下：

1) 对采集的脑电波数据进行预处理，除杂去噪，去除工频电及肌电等的干扰，得到原始脑电指标数据集。

2) 采用离散小波变换(Discrete Wavelet Transform，DWT)提取脑电特征值。SEN^[18]发现，db4小波函数的效果较好；程佳等^[19]发现，当小波级数展开次数小于5时，会对脑电信号的低频部分造成影响。因此，选择db4小波函数尺度为5的小波变换。

记小波函数为

ψ (t)

，则其在定义域内需满足下列可容性条件^[20]:

(1)

∫ - ∞ + ∞ ψ 2 (t) d t < ∞ ， ∫ - ∞ + ∞ ψ (t) d t = 0

式中t为时间。设脑电信号为离散时间信号f(t)，则脑电信号的DWT可表示为：

(2)

W f (j ， k) = 1 2 j ∫ - ∞ + ∞ f (t) ψ * (t) t - 2 j k 2 j d t

式中：W_f为离散小波变换特征值；j为层数；k为时域平移片段参数；2^j为尺度因子；2^jk为平移变量。

DWT的计算结果为：

(3)

A j f (n) = ∑ k h (n - 2 k) A j + 1 f (k) + ∑ k g (n - 2 k) D j + 1 f (k)

式中：A_j为每层上采样后的脑电信号；h、g分别为低通和高通滤波器系数；f(k)为第k个时间片段的离散时间信号。当j=0时A₀f(n)为采样后的原始信号。

经滤波后得到脑电波形的时域幅值。脑电仪的采样率为1 000 Hz，即1 s采集1 000个点。某时段2 min内3种脑电波信号经小波级数展开后的时域幅值如图1所示。

3) 设信号序列为

x a (t)

，结合周期图法对经小波变换得到的脑电波特征值进行傅里叶变换(Fourier Transform，FT)，求得采集数据中的3种特征脑电波形(α波、β波、θ波)的频域幅值。傅里叶变换

X a (j f)

为：

(4)

X a (u j) = G F T [x a (t)] = ∫ - ∞ + ∞ x a (t) e x p (- j 2 π u t) d t

式中：u为频率；G_FT为傅里叶变换函数；函数X_a(uj)为x_a(t)的傅里叶变换。为便于后续计算机处理，需将数据进行离散化。

(5)

x (n) = x a (n S) t = n S (S = 1 / f s ， f s ≥ 2 f c)

(6)

x (n) = 1 S G I D F T [x a (k)]

式中：S为周期；G_IDFT为离散傅里叶逆变换(Inverse Discrete Fourier Transform，IDFT)函数。

2.2 基于ResNet18+SoftMax网络的判定模型

残差神经网络(Residual Neural Network，ResNet)模型^[21]解决了因网络层数增加而准确率降低的问题。ResNet18具有17个卷积层和1个全连接层。文中的特征值只有3个，数据量不是很大，因此，不需要搭建更高层次的残差神经网络。模型通过添加跳层连接来防止出现过拟合现象。

ResNet18模型使用的非线性激活函数为修性神经单元(Rectified Linear Unit，ReLU)^[21]，ReLU可表示为：

(7)

f (x) = m a x (0 ， x)

ResNet网络中常用的Building Block残差块结构如图2所示。每个层数据输出步骤为：卷积→批归一化→非线性激活函数→批归一化→与输入层跳层连接→非线性操作→每个基础残差块输出。

ResNet18+SoftMax网络的整体结构如图3所示。对整个ResNet18网络来说，步骤为：三维脑电特征数据→7×7卷积→批归一化→非线性激活函数→最大池化→4层的残差学习→平均池化→全连接层→SoftMax回归→疲劳预测分类。

2.3 基于MobileNet V2+SoftMax网络的判定模型

MobileNet 模型^[22]最初由谷歌公司提出，用于移动端，相较于其他网络，该模型通过使用深度可分离卷积代替传统卷积，参数量减少，速度更快。MobileNet V2模型在原来V1版本的基础上进行改进，增加倒残差结构，在每个深度卷积前都增加逐点卷积提升原模型因通道数较少导致的模型准确率低的问题。

基于MobileNet V2模型，利用Python语言环境搭建疲劳状态识别网络模型MobileNet V2+SoftMax，将3种脑电特征值分别排列成256×128的二维矩阵，并把3个二维矩阵结合成一个3×256×128的三维矩阵作为输入数据。对其进行归一化操作，归一化到[-1，1]，消除不同数据之间量纲大小的影响，使得不同分布间的数据对模型有相同的影响。归一化操作如下：

(8)

i = 2 × d - m i n (D) m a x (D) - m i n (D) - 1 d ∈ D

式中：D为α波、β波和θ波原始数据组成的3×256×128的三维矩阵；d为待归一化的数据；i为归一化后的数据。将D中所有数据归一化处理，得到3×256×128大小的归一三维矩阵。

MobileNet网络中使用的Bottleneck残差块的结构如图4所示。MobileNet V2的基础结构为Bottleneck，通过引进残差连接来解决深度网络梯度消失问题。对每个层来说，设输入的数据为B={x₁，x₂，…，x_i，…，x_m}，深度可分离卷积将传统3×3卷积分为3×3深度卷积和1×1逐点卷积，先利用逐点卷积操作对通道升维，再利用深度卷积提取特征值，最后再通过逐点卷积进行降维，实现逆残差操作。深度卷积可表达为^[23]:

(9)

O p ， q ， m = ∑ i ， j K i ， j ， m · I p + i - 1 ， q + j - 1 ， m

式中：O为输出特征；m为输入特征的第m通道；p、q为输出特征在第m通道的大小；K为深度卷积；I为输入特征。

将输入的数据特征B={x₁，x₂，…，x_i，…，x_m}先经过卷积操作，再经批归一化层(Batch Normalization，BN)对特征值进行批归一化操作，计算批处理数据的均值和方差，对x_i进行规范化、尺度变换和偏移后，使得新的数据分布更符合真实数据分布。

MobileNet V2模型使用的非线性激活函数为ReLU6。与ReLU不同的是，ReLU6函数的输出限制最大值为6，用于减少模型量化的精度损失，缓解权值范围相差过大。ReLU6可表示为：

(10)

R e L U 6 = m i n (m a x (0 ， x) ， 6)

MobileNet V2模型和ResNet18模型的区别在于：①MobileNet V2模型引进深度可分离卷积和倒残差结构，进行结构的进一步优化；②MobileNet V2模型采用先升维再降维的方式增加网络层数的同时减少计算量；③MobileNet V2模型参数增多，运算速度慢。

MobileNet V2(ResNet18)网络模型与传统MobileNet V2(ResNet18)模型的区别是：①将3种特征值形成三维立体矩阵作为输入代替图片输入；②在全连接层之后增加SoftMax函数对多状态进行回归分类。对于输入数据{(x₁，y₁)，(x₂，y₂)，…，(x_m，y_m)}有a个类别，SoftMax回归估算x_i属于某一类别b的概率为

(11)

P (y i = b | x i; θ) = e x p (θ T j x i) ∑ l = 1 a e x p (θ T l x i) ，

式中

θ 1 ， θ 2 ， … ， θ k ∈ θ

为模型参数。

2.4 识别效果表示

设清醒状态为H，轻度疲劳状态为L，疲劳状态为M，识别状态i'与真实状态i一致标记为R_i，识别状态i'与真实状态i不一致标记为F_i。根据此规则，则3种状态的识别正确率C_i表示为：

(12)

C i = R i R i + F i × 100 % i = H ， L ， M

模型的总识别正确率C表示为：

(13)

C = R H + R L + R M R H + R L + R M + F H + F L + F M × 100 %

3 高铁调度员疲劳状态分类模型分析

收起

3.1 高铁调度模拟试验过程

试验所选被试均为男性，无任何心理或精神方面疾病，无色弱或色盲。试验前一晚禁止饮用任何含咖啡因或酒精的功能性饮料，并自愿签订《高速铁路调度员脑力负荷监测试验知情同意书》。试验开始之前，依照铁路行车调度员培训章程和操作规范的总体要求，熟悉试验流程。

试验系统如图5所示。设有一个高速铁路列车调度台和一个列车调度助理调度台，每个调度台有4台显示器，可显示区间站场图、列车运行图及调度命令界面，仿真度可满足试验要求。试验开始前，让被试佩戴脑电帽工作一段时间，减少因试验仪器佩戴对调度员作业带来的影响。试验开始前24 h让被试熟悉实际工作环境以及工作任务，每次测试2名人员，试验开始前15 min让被试先做模拟预试验，在正式试验中，被试操作调度作业任务(表1)，同时，保证灯光、温度等稳定，不对调度员产生干扰。在模拟预试验开始的同时，利用Neuroscan脑电仪采集被试的脑电信号，利用被试左侧方及右方的视频记录仪记录被试的面部特征、身体情况。脑电仪采用10-20国际电极放置标准^[24]，采样频率为1 000 Hz，同时测量64个通道的脑电图，数据通过仪器记录传输；记录仪的分辨率为960×720P，帧率为30帧/s。

根据调度员的作业特点以及生理特点，在工作4h后每隔15min开始设定随机事件(表1)，被试将按照《高速铁路行车组织细则》^[1]处理。记录调度员工作4~9 h的脑电数据，并记录被试由事件开始至事件结束的疲劳特征指标和15min内的工作负荷指标，共计20次。试验进行中，每15 min记录一次KSS值^[25]。

3.2 输出疲劳特征数据采集

将KSS量表采集的疲劳程度值作为主观疲劳评价的特征指标。KSS量表中，对于人体疲劳程度的划分包括3类9级：清醒(1~4级)，轻微疲劳(5级)，疲劳(6~9级)^[25]。主观疲劳测量具有个体主观性，是个体对疲劳的直接反应，可作为重要的辅助手段^[26]。将主观疲劳特征做min-max归一化处理。

高铁调度员主要的工作任务包括监视、通话、操作记录3类。用DORATASK方法记录调度员的工作负荷^[27]，并将调度员的工作负荷压力值转化为工作时间，计算式如下：

(14)

t w = t w 1 + t w 2 + t w 3 + t w 4 Δ t w = ∑ i = 1 4 t w i Δ t w

式中：t_w₁为监视时间，s;t_w₂为通话时间，s;t_w₃为操作记录时间，s;t_w₄为脑力恢复时间，按照高铁调度员工作特性设为2~4 s;Δt_w为间隔时间，取为15 min。试验从被试人员工作4 h 10 min后开始记录，每隔15 min记录一次，共记录20条数据。

脑电试验中，从被试工作4 h后每隔15 min开始设定随机事件，记录被试由事件开始至事件结束时的脑电指标，共计20次。取一次脑电试验的刺激时间为900ms。被试受到随机事件刺激后，脑电信号由稳态向非稳态变化的时间记为波动时间。被试对试验事件的决策反应时间记为t_p₁，s;波动时间记为t_p₂，s;恢复时间记为t_p₃，取为200 ms;间隔时间Δt_p取15 min。试验采样率为1 000 Hz，通过DORATASK得到调度员疲劳特征值，计算公式为：

(15)

t p = t p 1 + t p 2 + t p 3 Δ t p = ∑ i = 1 3 t p i Δ t p

反应时间为心理生理学概念^[28]，决策反应时间可定义为调度员从接受随机事件任务到对该事件任务开始做出相应决策反应所消耗的时间。当调度员出现疲劳时，其生理反应能力会降低，反应时间会随疲劳程度的增加而增加，说明反应时间与疲劳之间有直接联系^[29]。

根据3种输出特征值，利用层次分析法得到输出端综合疲劳评价公式：

(16)

F = 0.135 d 1 + 0.4025 d 2 + 0.4625 d 3

式中：F为输出疲劳综合值；d₁为KSS量表值；d₂为工作负荷值；d₃为由反应时间得到的疲劳特征值。根据输出疲劳综合值计算结果将调度员疲劳程度划分为清醒(0~0.4)，轻度疲劳(0.4~0.7)，疲劳(0.7~1)。

3.3 疲劳等级划分的合理性验证

某时段经滤波后2min内清醒状态与疲劳状态下不同频段脑电波节律活动对比如图6所示。从图6可以看出，疲劳图像的θ波节律比清醒图像的θ波节律的曲线变化率增加，θ波节律随疲劳程度的加深而增加；α波节律、β波节律的变化曲线随疲劳程度的加深而减少，说明调度员在抵抗疲劳阶段，在工作疲劳以及决策行为的影响下，其状态在警觉和放松下不断改变。

1) 特征指标的正态性检验及共线性检验结果见表2，对α、 β、θ等3种脑电信号频段数据计算比较容差与方差膨胀系数(Variance Inflation Factor，VIF)。

由表2可以看出，各项脑电指标的夏皮罗威尔特值均大于0.05，满足正态性检验。共线性统计的容差大于0.1，VIF小于10，说明各个指标变量之间不存在多重共线现象。

2) 方差分析及配对样本T检验。脑电数据(α波、 β波、θ波)、被试工作期间设定随机事件测量的神经网络3个输出特征值(调度员DORATASK工作负荷值、调度员脑电负荷DORATASK值、KSS嗜睡量表值)的融合输出值，在SPSS平台上对这3个脑电指标在清醒(0~4 h)与疲劳状态(8~12 h)的数据进行配对样本T检验，分析结果见表3。由表3可以看出，所选指标的P值均小于0.01，符合显著性水平假设，故可以认为各项指标在清醒与疲劳状态下的差异性很强。

3) 各训练集指标的Spearman秩相关检验。对3个指标特征值与综合疲劳程度值做Spearman秩相关检验，结果见表4。可以看出，每个特征值均与疲劳程度有显著性影响。

3.4 卷积神经网络(CNN)模型试验数据处理

每半个小时对经傅里叶变换后的α波、β波和θ波的频域幅值分别采集32 768个点，每半小时数据记为一组特征向量组，对应一次疲劳状态(清醒、轻度疲劳、疲劳)。

将3个脑电波特征值的采样数据分别排列成256×128的二维矩阵，即将采样数据排列成接近于长和宽等长的矩阵，并尽量长框越大，根据卷积神经网络卷积神经网络(Convolutional Neural Network，CNN)卷积过程可知：这可以使信息融合得更好更快。把这3个二维矩阵结合成一个3×256×128的三维矩阵，如图7所示。

3.5 CNN的疲劳状态识别模型训练

试验总共采集了360组脑电波数据(每组数据包含32 768个α波、β波、θ波)，按照8∶1∶1的比例划分为288组训练集，36组验证集和36组测试集。采用10折交叉验证，将原始数据随机分为10组，每次挑选其中1组作为测试集，其余9组作为训练集用于模型训练；然后重复以上步骤，10个子集均被选中一次作为测试集，对应剩余部分作为训练集，最后将10次的测试结果求平均值得到最终结果，并以此评价模型性能。过程如图8所示。

训练过程如图9所示。对取到的α波、 β波和θ波数据使用reshape函数改变矩阵形状，使用concat函数连接所有数组，使其成为3×256×128大小的三维矩阵，再对其进行归一化操作，归一化到[-1，1]，得到3×256×128大小的归一化后的三维矩阵。然后将该三维矩阵分别输入到2个CNN模型ResNet18+softmax网络模型和MobileNet V2+SoftMax网络模型得到预测分类，再将预测分类和标签数据输入损失函数得到预测误差，通过预测误差反向传播和梯度下降算法优化调整模型权重，从而完成一次迭代。当迭代次数达到设定次数或误差低于某设定值时，固定模型权重，停止训练。

3.6 CNN的疲劳状态识别模型测试

在部署或测试阶段，将待预测的脑电波数据输入训练好的ResNet18+SoftMax和MobileNet V2+SoftMax模型中，得到清醒、轻度疲劳和疲劳的分类分值，分值高的即为输入脑电波对应的疲劳状态，脑电波疲劳状态预测过程如图10所示。

在每次测试试验中，将36组脑电波数据输入训练好的ResNet18+Softmax模型得到预测结果，模型对试验结果的分类标准采用输出疲劳综合值。试验显示，10次测试中有4次34组预测正确，有3次33组预测正确，有2次32组预测正确，有1次35组预测正确。总识别正确率达92.78%，对清醒状态的正确识别率为95.83%，对轻度疲劳状态的正确识别率为85.83%，对疲劳状态的正确识别率为96.67%。试验结果如图11所示及见表5。将36组脑电波数据输入训练好的MobileNet V2+Softmax模型，结果显示，10次测试中有7次36组预测正确，有3次35组预测正确。总识别正确率达99.17%，对清醒状态的正确识别率为100%，对轻度疲劳状态的正确识别率为97.5%，对疲劳状态的正确识别率为100%。由于数量较少，ResNet18模型的准确率受到一定影响，MobileNet V2参数多于ResNet18，且运行速度慢于ResNet18。

试验结果表明：文中模型在脑电数据的识别中表现出色，尤其对清醒和疲劳状态的识别较为准确。然而，轻度疲劳状态试验中的任务设置与疲劳状态试验相比区分度仍不够明显，被试的轻度疲劳多呈现为清醒向疲劳的过渡状态，致使在现有数据量的训练条件下模型识别效果略次于清醒状态与疲劳状态，因此，可以考虑进一步优化模型或增加样本数量以提高准确性。

采用受试者工作特征曲线(Receiver Operating Characteristic Curve，ROC)检验模型的特异性与敏感度，曲线下的面积(Area Under the Curve，AUC)代表识别精度，AUC 的取值区间为[0.11]，越接近于1时代表该模型的准确率越高^[30]，2种卷积模型的AUC面积为0.93和0.945，说明2种卷积模型的准确率较好。SVM支持向量机(Support Vector Machines，SVM)的AUC面积为0.91，稍逊色于2种卷积模型。

SVM模型在样本量较少时可比较准确的提取数据与所需特征之间的关系，也可避免神经网络结构选择问题，可解决高维问题。但SVM模型对核心核函数的要求比较高，同时当选择对识别效果较优的径向基核函数(Radial Basis Function，RBF)时的运算速度比较慢。

为确保模型对比的有效性，在保证输入端和输出端一致的情况下，比较2种卷积模型和SVM模型采用RBF核函数的运算结果见表5。可以看出，2种卷积模型的总准确率要高于SVM，MobileNet V2+SoftMax模型识别的准确率和稳定性最好。

4 结论

收起

1) 高铁调度员的KSS主观量表值、工作负荷DORATASK值以及疲劳特征值三者融合形成的疲劳指标数据和脑电客观指标数据表明：按照时间段划分疲劳状态可以作为深度学习模型有效分类识别的前期依据，高铁调度员的疲劳状态呈现出与工作任务持续出现伴随的累积效应。

2) 轻度疲劳状态试验中的工作任务较少，工作时段与清醒状态临近，在分类识别中误判为清醒状态的概率相较于疲劳状态更高，但随着工作时长的增加和工作任务的频次增多，均转变为2种分类模型更易识别的疲劳状态。

3) MobileNet V2模型和ResNet18模型的输入数据可以根据脑电特征的试验需求对应调整，可以更全面地捕捉脑电信号的复杂性和多样性，实现多状态回归分类，精确识别疲劳状态。

4) 文中模拟试验任务的设置符合调度员本身的工作特性，ResNet18+SoftMax和MobileNet V2+SoftMax2种模型均具有较高的识别准确率，而且使用MobileNet V2模型进行替代计算是在ResNet18+SoftMax基础上的结构优化，准确率更高，且模型参数的增多优化了对疲劳状态的识别效果。

5) 提出的ResNet18+SoftMax和MobileNet V2+SoftMax疲劳状态识别模型具有良好的泛化适应性，相较于分类识别研究中常用的SVM机模型提升了识别精度，缩短了运算时间。

基金

收起

四川省自然科学基金资助(2024NSFSC0178)
西南交通大学本科教改项目(20221103)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

中国铁路成都局集团有限公司. 高速铁路行车组织细则[M]. 北京: 中国铁道出版社, 2018:73-75.

[2]

田起利. 列车调度员的疲劳研究[D]. 成都: 西南交通大学, 2011.

TIAN

Qili

. Study on fatigue of train controller[D]. Chengdu: Southwest Jiaotong University, 2011.

[3]

王列妮, 牟瑞芳, 张磊. 我国某铁路局2005—2014年行车事故分布规律分析[J]. 安全与环境学报, 2018, 18(1):406-412.

WANG

Lieni

, MU

Ruifang

, ZHANG

Lei

. Analysis of the distribution law of traffic accidents in a railway bureau in my country from 2005 to 2014[J]. Journal of Safety and Environment, 2018, 18(1):406-412.

[4]

HOCKEY

G R

. The psychology of fatigue: work, effort and control[M]. Cambridge: Cambridge University Press, 2013:123-126.

[5]

杨奎. 铁路列车调度员疲劳机理与发展规律研究[D]. 成都: 西南交通大学, 2017.

YANG

Kui

. Mechanism and developing law of railway dispatcher's fatigue[D]. Chengdu: Southwest Jiaotong University, 2017.

[6]

LAL

, CRAIG

. A critical review of the psychophysiology of driver fatigue[J]. Biological Psychology, 2001, 55(3):173-194.

[7]

JAP

B T

, LAL

, FISCHER

, et al. Using EEG spectral components to assess algorithms for detecting fatigue[J]. Expert Systems with Applications, 2009, 36:2352-2359.

[8]

WANG

Qingjun

, LI

Yibo

, LIU

Xueping

. Analysis of feature fatigue EEG signals based on wavelet entropy[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2018, 32(8):DOI: 10.1142/S021800141854023X.

[9]

张光远, 胡晋, 文原劲, 等. 高速铁路调度员疲劳程度分级及预测方法研究[J]. 铁道学报, 2021, 43(5):18-26.

ZHANG

Guangyuan

, HU

Jin

, WEN

Yuanjin

, et al. Research on the classification and prediction method of fatigue degree of high-speed railway dispatchers[J]. Journal of the China Railway Society, 2021, 43(5):18-26.

[10]

TREJO

L J

, KNUTH

, PRADO

, et al. EEG-Based estimation of mental fatigue: convergent evidence for a three-state model[J]. Foundations of Augmented Cognition, Proceedings, 2007, 4565:201-211.

[11]

CHUA

B L

, DAI

, THAKOR

, et al. Connectome pattern alterations with increment of mental fatigue in one-hour driving simulation[C]. 2017 39^th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2017:4355-4358.

[12]

张朋, 周前祥, 于洪强, 等. 基于EEG信号特征的脑力疲劳快速检测方法研究[J]. 北京航空航天大学学报, 2023, 49(1):145-154.

ZHANG

Peng

, ZHOU

Qianxiang

, YU

Hongqiang

, et al. Fast detection method of mental fatigue based on EEG signal characteristics[J]. Journal of Beijing University of Aeronautics and Astronautics, 2023, 49(1):145-154.

[13]

郭孜政, 牛琳博, 吴志敏, 等. 基于EEG的驾驶疲劳识别算法及其有效性验证[J]. 北京工业大学学报, 2017, 43(6):929-934.

GUO

Zizheng

, NIU

Linbo

, WU

Zhimin

, et al. Driver's fatigue recognition algorithm based on EEG and its validity verification[J]. Journal of Beijing University of Technology, 2017, 43(6):929-934.

[14]

GRANDJEAN

. Fatigue in industry[J]. British Journal of Industrial Medicine, 1979, 36(3):175-186.

[15]

郭孜政, 谭永刚, 马国忠, 等. 基于BP神经网络的驾驶精神疲劳识别方法[J]. 哈尔滨工业大学学报, 2014, 46(8):118-121.

GUO

Zizheng

, TAN

Yonggang

, MA

Guozhong

, et al. Recognition method of driving mental fatigue based on BP neural network[J]. Journal of Harbin Institude of Technology, 2014, 46(8):118-121.

[16]

KAIDA

, TAKAHASHI

, AKERSTEDT

, et al. Validation of the Karolinska sleepiness scale against performance and EEG variables[J]. Clinical Neurophysiology, 2006, 117(7):1574-1581.

[17]

JAP

B T

, LAL

, FISCHER

, et al. Using EEG spectral components to assess algorithms for detecting fatigue[J]. Expert Systems with Applications An International Journal, 2009, 36(2):2352-2359.

[18]

SEN

, PEKER

, CAVUSOGLU

, et al. A comparative study on classification of sleep stage based on EEG signals using feature selection and classification algorithms[J]. Journal of Medical Systems, 2014, 38(3):DOI: 10.1007/s10916-014-0018-0.

[19]

程佳. 基于脑电信号的睡眠分期研究[D]. 北京: 北京理工大学, 2015.

CHENG

Jia

. Research of sleep staging based on EEG signals[D]. Beijing: Beijing Institute of Technology, 2015.

[20]

封常生. 小波分析在信号处理中的应用[D]. 上海: 上海交通大学, 2007.

FENG

Changsheng

. Application of wavelet analysis on signal processing[D]. Shanghai: Shanghai Jiaotong University, 2007.

[21]

Kaiming

, ZHANG

Xiangyu

, REN

Shaoqing

, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2016:770-778.

[22]

BOUGUEZZI

, FAIEDH

, SOUANI

. Slim MobileNet: an enhanced deep convolutional neural network[C]. 18^th International Multi-Conference on Systems, Signals & Devices (SSD). IEEE, 2021:12-16.

[23]

苏畅. 基于RFID的预制装配式住宅构件追踪管理研究[D]. 哈尔滨: 哈尔滨工业大学, 2012.

Chang

. RFID-Based tracking management system of prefabricated housing components[D]. Harbin: Harbin Institute of Technology, 2012.

[24]

STERN

J M

. Atlas of EEG patterns[M]. Baltimore MD: Lippincott Williams & Wilkins, 2005:377-379.

[25]

胥川, 王雪松, 陈小鸿. 无侵入测量指标的驾驶疲劳检测性能评估[J]. 西南交通大学学报, 2014, 49(4):720-726.

Chuan

, WANG

Xuesong

, CHEN

Xiaohong

. Evaluating performance of non-intrusive indicators on drowsy driving detection[J]. Journal of Southwest Jiaotong University, 2014, 49(4):720-726.

[26]

黄诗童, 张威强, 张朋柱. 基于HRV分析的可穿戴心电仪精神疲劳检测[J]. 计算机应用研究, 2019, 36(7):2093-2097, 2103.

HUANG

Shitong

, ZHANG

Weiqiang

, ZHANG

Pengzhu

. Wearable ECG for mental fatigue detection based on HRV analysis[J]. Computer Application Research, 2019, 36(7):2093-2097, 2103.

[27]

张蕾. 管制员工作负荷评估系统及扇区容量问题研究[D]. 南京: 南京航空航天大学, 2006.

ZHANG

Lei

. The research on the evaluation system of controller's workload and sector capacity[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2006.

[28]

张明岛, 陈兴时. 脑诱发电位学:第2版[M]. 上海: 上海科技教育出版社, 2000:387-390.

[29]

TING

, HWANG

, DOONG

, et al. Driver fatigue and highway driving: a simulator study[J]. Physiology & Behavior, 2008, 94(3):448-453.

[30]

RULI

, VENTURA

. Accurate likelihood inference for the volume under the ROC surface[J]. Cancer Reports, 2020, 3(4): DOI: 10.1002/cnr2.1206.

2024年第34卷第6期

PDF下载

311

121

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.06.1674

接收时间：2023-12-27
首发时间：2025-07-09
出版时间：2024-06-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-12-27
修回日期：2024-03-26

基金

四川省自然科学基金资助(2024NSFSC0178)

西南交通大学本科教改项目(20221103)

作者信息

¹ 西南交通大学交通运输与物流学院，四川成都 610031

² 西南交通大学综合交通运输智能化国家地方联合工程实验室，四川成都 610031

³ 西南交通大学综合交通大数据应用技术国家工程实验室，四川成都 610031

⁴ 西南交通大学信息科学与技术学院，四川成都 610031

⁵ 中国铁道科学研究院集团有限公司运输及经济研究所，北京 100081

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.06.1674

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

作业类型	具体工作内容
监视作业	查看列车运行计划、查看列车实绩运行信息、查看列车运行状态、查看施工维修计划
通话作业	发布电话调度命令、各调度工种间联系、发布口头指示
操作记录作业	调度命令、交班事宜、安监报

作业类型

具体工作内容

监视作业

查看列车运行计划、查看列车实绩运行信息、查看列车运行状态、查看施工维修计划

通话作业

发布电话调度命令、各调度工种间联系、发布口头指示

操作记录作业

调度命令、交班事宜、安监报

指标	P 值	T	F 值
α	1.16×10^-40	16.16	7.42
β	9.00×10^-6	4.54	36.45
θ	5.01×10^-81	-28.73	4.46

指标

P 值

F 值

1.16×10^-40

16.16

7.42

9.00×10^-6

4.54

36.45

5.01×10^-81

-28.73

4.46

指标	综合疲劳程度值	α波	β波	θ波
综合疲劳程度值	1.000	-0.720^**	-0.391^**	0.700^**
α波	-0.720^**	1.000	0.037	-0.318^**
β波	-0.391^**	0.037	1.000	-0.055
θ波	0.700^**	-0.318^**	-0.055	1.000

指标

综合疲劳
程度值

α波

β波

θ波

综合疲劳
程度值

1.000

-0.720^**

-0.391^**

0.700^**

α波

-0.720^**

1.000

0.037

-0.318^**

β波

-0.391^**

0.037

1.000

-0.055

θ波

0.700^**

-0.318^**

-0.055

1.000

模型	各状态准确率/%	AUC	运行环境及运行速度/ms
ResNet18+ SoftMax	95.83	85.83	96.67	92.78	0.93	GPU 2.724
MobileNet V2+SoftMax	100	97.5	100	99.17	0.945	GPU，5.585
SVM	93.3	87.5	92.3	91.6	0.91	CPU，速度慢

模型

各状态准确率/%

AUC

运行环境及
运行速度/ms

清醒

轻度
疲劳

疲劳

总准
确率

ResNet18+
SoftMax

95.83

85.83

96.67

92.78

0.93

GPU 2.724

MobileNet
V2+SoftMax

100

97.5

100

99.17

0.945

GPU，5.585

SVM

93.3

87.5

92.3

91.6

0.91

CPU，速度慢