汽车技术

参数	22个哈欠视频	103个其他视频	全部测试集视频
预测哈欠视频/个	21	3	24
预测其他视频/个	1	100	101
预测准确率/%	95.5	97.1	96.8

参数

22个哈欠视频

103个其他视频

全部测试集视频

预测哈欠视频/个

预测其他视频/个

100

101

预测准确率/%

95.5

97.1

96.8

参数	22个哈欠视频	103个其他视频	全部测试集视频
预测哈欠视频/个	21	3	24
预测其他视频/个	1	100	101
预测准确率/%	95.5	97.1	96.8

参数

22个哈欠视频

103个其他视频

全部测试集视频

预测哈欠视频/个

预测其他视频/个

100

101

预测准确率/%

95.5

97.1

96.8

算法	哈欠检测准确率/%
基于双层专家的检测算法^[16]	94.0
基于图片输入的CNN算法^[3]	92.4
基于三维卷积和双向长短时记忆网络算法^[17]	93.6
基于卷积神经网络和优化监督下降方法（Supervised Descent Method，SDM）的算法^[18]	87.0
本文算法	96.8

算法

哈欠检测准确率/%

基于双层专家的检测算法^[16]

94.0

基于图片输入的CNN算法^[3]

92.4

基于三维卷积和双向长短时记忆网络算法^[17]

93.6

基于卷积神经网络和优化监督下降方法
（Supervised Descent Method，SDM）
的算法^[18]

87.0

本文算法

96.8

算法	哈欠检测准确率/%
基于双层专家的检测算法^[16]	94.0
基于图片输入的CNN算法^[3]	92.4
基于三维卷积和双向长短时记忆网络算法^[17]	93.6
基于卷积神经网络和优化监督下降方法（Supervised Descent Method，SDM）的算法^[18]	87.0
本文算法	96.8

算法

哈欠检测准确率/%

基于双层专家的检测算法^[16]

94.0

基于图片输入的CNN算法^[3]

92.4

基于三维卷积和双向长短时记忆网络算法^[17]

93.6

基于卷积神经网络和优化监督下降方法
（Supervised Descent Method，SDM）
的算法^[18]

87.0

本文算法

96.8

基于Dlib和变种Transformer的哈欠检测方法

PDF下载

廖冬杰 ¹^,²

汽车技术 | 2023,(3): 42-48

收起

汽车技术 | 2023, (3): 42-48

基于Dlib和变种Transformer的哈欠检测方法

全屏

廖冬杰¹^,²

作者信息

¹ 华东交通大学，南昌 330013

² 江西省先进控制与优化重点实验室，南昌 330013

Yawn Detection Method Based on Dlib and Variant Transformer

Dongjie Liao¹^,²

Affiliations

¹ East China Jiaotong University, Nanchang 330013

² Key Laboratory of Advanced Control and Optimization of Jiangxi Province, Nanchang 330013

出版时间: 2023-03-24 doi: 10.19620/j.cnki.1000-3703.20220453

文章导航

摘要

收起

为及时检测驾驶员的疲劳驾驶情况，提出了一种基于Dlib和变种Transformer的哈欠检测方法。首先，基于Dlib的人脸关键点模型构建驾驶员眼部和嘴部的哈欠特征矩阵，然后在视频检测领域提出一种变种Transformer模型对哈欠特征矩阵进行提取和分类，最后基于YawDD数据集进行验证，结果表明，所提出算法的哈欠检测准确率达96.8%，高于已有算法，适用于驾驶员疲劳驾驶时哈欠行为的检测。

关键词

哈欠检测 / Dlib / 哈欠特征矩阵 / 变种Transformer / YawDD

Abstract

收起

In order to detect the driver’s fatigue driving situation in time, this paper proposed a yawn detection method based on Dlib and variant Transformer. First, the yawn feature matrix of the driver’s eyes and mouth was constructed based on the face key point model of Dlib. Then a variant Transformer model was proposed in the field of video detection, to extract the yawn feature matrix and classify the results. Finally, it was verified based on the YawDD dataset. The results show that the yawn detection accuracy of the proposed algorithm is 96.8%, which is higher than the existing algorithms, and is suitable for the detection of yawning behavior when the driver is fatigued.

Key words

Yawn detection / Dlib / Yawning features matrix / Variant Transformer / YawDD

引用本文

廖冬杰. 基于Dlib和变种Transformer的哈欠检测方法. 汽车技术, 2023 , (3) : 42 -48 . DOI: 10.19620/j.cnki.1000-3703.20220453

Dongjie Liao. Yawn Detection Method Based on Dlib and Variant Transformer[J]. Automobile Technology, 2023 , (3) : 42 -48 . DOI: 10.19620/j.cnki.1000-3703.20220453

正文

收起

1 前言

收起

疲劳驾驶是造成交通事故的主要原因之一^[1]，而打哈欠是驾驶员疲劳初期的主要表现形式之一^[2]。因此，研究驾驶员疲劳初期的哈欠特征，从而进行准确检测，对保障道路交通安全具有重要意义。

国内外研究人员针对哈欠检测已进行了大量的研究。马素刚等^[3]充分关注人脸的各种特征，以驾驶员面部图片作为输入，通过卷积核进行特征提取，并利用Softmax分类器判断驾驶员是否打哈欠，但只关注了单帧图像的分类，没有充分利用多帧图像在时间维度上的关联性，可能把讲话、唱歌、大笑等张嘴行为误检测为打哈欠。Mateusz Knapik等^[4]对热成像视频进行人脸区域检测，提出眼角检测算法，实现了人脸对齐，通过检测嘴部区域的快速温度变化判断驾驶员的打哈欠行为，但未考虑大幅度张嘴呼吸以及咳嗽等特殊情况。史瑞鹏等人^[5]提出了一种基于多任务卷积神经网络（Multi-Task Convolutional Neural Network，MTCNN）的加速优化算法，对图像中驾驶员是否存在张嘴行为进行分类，以嘴部持续张开时间作为评判驾驶员是否打哈欠的标准，但此类方法分类标准无法准确度量，无法确定嘴部持续张开时间阈值，只能根据经验给出，无法达到最优效果。王超等^[6]提出只关注嘴部图像，利用卷积神经网络（Convolutional Neural Network，CNN）和长短期记忆（Long Short-Term Memory，LSTM）网络对视频进行空间和时间的特征提取，从而实现哈欠检测，但是这类方法哈欠检测特征单一，未考虑眼部等特征与哈欠行为的关联，缺乏全面性。

本文基于Dlib和变种Transformer^[7]模型，针对哈欠检测特征单一的问题，同时关注左右眼部、嘴部的特征变化，构建包含直接哈欠特征和隐含哈欠特征的哈欠特征矩阵，有效避免驾驶员嘴部呼吸、咳嗽等嘴部特殊情况的误检；针对无法度量阈值的问题，采用深度学习的方法，利用变种Transformer模型进行隐含哈欠特征提取，并实现哈欠分类，提高算法的准确性；针对帧与帧之间缺乏联系的问题，引进多头注意力机制和序列编码，以降低检测中大笑、说话等情况的误检可能性。

2 基于Dlib和变种Transformer的哈欠检测方法原理

收起

Dlib是一个包含众多机器学习算法、图像处理和数值计算等丰富功能的开源工具箱，广泛应用于人脸识别、分类等领域。Transformer模型是一种自然语言处理模型，由编码器（Encoder）和解码器（Decoder）组成^[7]，可以完成特征提取，同时捕获远距离的依赖关系，实现分类和生成等功能。本文旨在实现驾驶员哈欠检测，故提出基于Dlib和变种Transformer的哈欠检测方法，其原理如图1所示。

本文提出的哈欠检测方法主要包含3个部分：

a. 人脸检测和关键点定位。通过基于集成回归树（Ensemble of Regression Trees，ERT）的Dlib算法进行人脸检测以及68点关键点定位。

b. 哈欠特征矩阵构建。根据定位关键点坐标提取眼部、嘴部直接哈欠特征，得到每帧的哈欠特征向量，在时间维度进行堆积，构建包含直接哈欠特征和隐含哈欠特征的视频哈欠特征矩阵。

c. 哈欠检测。在得到视频哈欠特征矩阵的基础上，利用变种Transformer模型进行特征提取和视频分类，完成对视频中是否有打哈欠行为的检测。

3 基于Dlib的哈欠特征矩阵构建

收起

3.1 Dlib人脸关键点定位

Dlib人脸关键点定位使用了Vahid Kazemi等人提出的ERT级联回归算法^[8]，该算法构建了级联的梯度提升决策树（Gradient Boosting Decision Tree，GBDT），使得预测的人脸形状即关键点不断回归到真实位置^[9]，其基本思想是：每一个GBDT的每个叶子节点均储存着残差回归量，当输入经过某一叶子节点时，将当前输入和叶子节点储存的残差回归量相加，起到回归作用，所有残差回归量相加后，即可获得预测的人脸形状。与传统算法相比，ERT算法具有较出色的准确率和检测速度，同时还能够处理数据缺失的问题^[8]。ERT算法核心表达式为：

（1）

S = (x 1 T, x 2 T, ⋯, x p T) T ∈ R 2 p

（2）

S^(t + 1) = S^(t) + γ t (I, S^(t))

式中，

S

为由p个关键点坐标组成的人脸真实形状；

x i T

∈

R 2

(i=1,2,…,p)为面部图像I的第i个关键点的坐标；

S^(t)

为第t次的人脸估计形状；

γ t (I, S^(t))

为第t次计算得到的残差回归量。

考虑到Dlib在人脸检测和人脸关键点检测上的出色能力，本文利用Dlib提供的人脸关键点模型^[10]对车内驾驶员的68个人脸关键点进行检测，结果如图2所示，试验证明，Dlib人脸关键点检测算法在车内环境中有着优秀的关键点定位能力。因此，利用Dlib人脸关键点模型分析驾驶员疲劳时的眼部和嘴部哈欠特征是可行的。

3.2 哈欠特征构建

眼睛和嘴是驾驶员在打哈欠时表现最为突出的部分。本文利用Dlib人脸关键点模型得到人脸关键点，提取眼部的12个关键点坐标信息、嘴部的6个关键点坐标信息，如图3、图4所示，以眼部和嘴部张度作为直接哈欠特征，得到视频帧哈欠特征向量，再按照时间维度堆积，构建包含嘴部持续张开时间、眼睛闭合时间比例（Percentage Eyelid Closure over the Pupil over Time，PERCLOS）等隐含哈欠特征的视频哈欠特征矩阵，从而进行哈欠行为检测。

3.2.1 眼部哈欠特征

根据Soukupová等人^[11]提出的观点，驾驶员眼部开合程度的改变可以通过眼部纵横比（Eye Aspect Ratio，EAR）的变化来表征。用p_i表示图3、图4中编号为i的点，左、右眼眼部纵横比R_eal和R_ear的计算公式为：

（3）

R e a l = p 2 - p 6 + p 3 - p 5 2 p 1 - p 4

（4）

R e a r = p 8 - p 12 + p 9 - p 11 2 p 7 - p 10

John Sofia Jennifer提出，为了定位角度更为宽广的朝向角，不必同时考虑2只眼睛，仅使用单眼检测即可达到出色效果^[12]，但本文考虑到驾驶员可能存在揉眼、扭头等行为造成实际仅能检测到1只眼睛的情况，将左、右眼部纵横比均作为哈欠特征。

3.2.2 嘴部哈欠特征

鉴于人在打哈欠时，嘴部的张合程度会发生明显改变，因此类比于Soukupová提出的眼部纵横比，本文引入一种评估嘴部开合程度的新指标——嘴部纵横比（Mouth Aspect Ratio，MAR）。考虑到不同驾驶员嘴部的厚度差别，根据嘴唇的相关关键点进行特征提取：

（5）

R M A = p 14 - p 18 + p 15 - p 17 2 p 13 - p 16

式中，R_MA为嘴部纵横比。

至此，已经根据人脸关键点模型提取出眼部和嘴部的哈欠特征，将这些特征组合在一起，形成视频帧哈欠特征向量。

3.2.3 特征矩阵构建

基于驾驶员驾驶状态的视频采集图像，提取每个视频帧R_eal、R_ear、R_MA特征值，获得单帧的哈欠特征向量V_ec：

（6）V_ec=[R_eal_i R_ear_i R_MA_i], i∈[1,n]

式中，R_eal_i、R_ear_i、R_MA_i分别为第i个视频帧的左、右眼眼部纵横比和嘴部纵横比；n为视频所含视频帧数量。

若将特征向量按照时间维度进行堆积，得到视频特征矩阵H_Q：

（7）

H Q = R e a l 1 R e a r 1 R M A 1 R e a l 2 R e a r 2 R M A 2 R e a l 3 R e a r 3 R M A 3 ⋮ ⋮ R e a l n R e a r n R M A n

由于存在时间信息，H_Q除了包含视频每帧的左、右眼部纵横比和嘴部纵横比等直接哈欠特征以外，还包含嘴部持续张开时间、短时间内是否存在嘴部张度大幅度改变、单位时间眨眼次数、PERCLOS等隐含哈欠特征，为后续分辨驾驶员是否存在哈欠行为奠定了基础。

4 变种Transformer模型

收起

4.1 Transformer模型

李小平等^[13]通过LSTM对得到的驾驶员疲劳特征矩阵进行分类，从而判断驾驶员是否处于疲劳状态。卢喜东等人^[14]通过深度森林方法对方向梯度直方图（Histogram of Oriented Gradient，HOG）特征矩阵进行恶意代码分类。本文选择变种Transformer模型提取H_Q的隐含哈欠特征，从而完成对视频中驾驶员是否打哈欠的分类，因为Transformer通过注意力机制可以捕获远距离依赖关系，并可实现循环神经网络（Recurrent Neural Network，RNN）不能实现的并行训练功能，结构如图5所示。

图5中，编码器部分的输入为词向量矩阵，考虑到单词间的顺序，为每个词向量添加了位置编码，计算公式分别为：

（8）

P s, 2 i = s i n s / 10 000 2 i / d m o d e l

（9）

P s, 2 i + 1 = c o s s / 10 000 2 i / d m o d e l

式中，P₍_s_,2_i₎、P₍_s_,2_i₊₁₎分别为句子中第s个单词偶数维度/奇数维度的位置编码；d_model为位置编码的维度。

将经过位置编码的词向量矩阵作为自注意力（Self-Attention）层的输入，得到查询矩阵、键矩阵和值矩阵，如图6所示。

图6中，X为位置编码后的词向量矩阵；x₁、x₂分别为经过位置编码第1个和第2个单词的词向量；W_Q、W_K、W_V为训练好权重的线性变换矩阵；Q、K、V分别为X的查询矩阵、键矩阵和值矩阵。

Q与K^T相乘，得到词向量与其他词向量之间的关联性，为了维护梯度的稳定性，除以

d K

，通过Softmax函数得到该词向量与其他词向量关联性的权重，再与词向量包含的信息V相乘，可得：

（10）

A (Q, K, V) = S o f t m a x Q K T d K V

式中，A(Q,K,V)为自注意力层输出；d_K为键矩阵K的维度。

为了学习到更多独立信息，充分关注不同子空间，引进多头注意力机制^[7]，设h_i为第i个子空间的自注意力层输出，将m个子空间的h_i进行横向拼接得到多头拼接矩阵，通过线性变换矩阵W^o将多头拼接矩阵变换成与X相同形状：

（11）

h i = A (X W Q i, X W K i, X W V i)

（12）

M = C o n c a t (h 1, ⋯, h m) W o

式中，

X W Q i

、

X W K i

、

X W V i

分别为第i个子空间的查询矩阵、键矩阵和值矩阵；M为多头注意力值；Concat为横向拼接函数。

考虑到网络中可能出现的退化问题，将X与M进行连接，再进行层标准化，得到前馈神经网络输入O_f：

（13）

O f = L a y e r N o r m (X + M)

式中，LayerNorm为层标准化函数。

将O_f通过由线性层、线性整流函数（Rectified Linear Unit，ReLU）层和线性层构成的前馈神经网络进行残差连接和层标准化，结束模型的编码器部分，公式为：

（14）

O s = m a x (0, O f W 1 + b 1) W 2 + b 2

（15）

O t = L a y e r N o r m (O f + O s)

式中，O_s为前馈神经网络的输出；O_t为编码器部分的输出；W₁、b₁分别为第1层线性层的参数矩阵和偏置；W₂、b₂分别为第2层线性层的参数矩阵和偏置。

O_t经过模型的解码器部分，连接一个线性层，通过Softmax进行分类，完成整个Transformer模型的构建。

4.2 Transformer模型的改进

由于Transformer的解码器部分主要完成生成类功能，而疲劳驾驶哈欠检测只需要实现哈欠特征的分类任务即可，故本文提出一种只使用编码器部分的变种Transformer模型。其基本思想是：在继承Transformer模型编码器部分的基础上，对输入嵌入、位置编码以及输出层进行了改进，整体结构如图7所示。

图7中，模型的输入不再是词向量矩阵，而是经过Dlib检测算法构建的如式（7）所示的疲劳特征矩阵H_Q，如图8所示，设

d m o d e l *

为序列编码的维度，利用

3 × d m o d e l *

维的矩阵W^*，得到线性变换Ⅰ的输出H_Q^*：

（16）

H Q * = H Q × W *

为了充分考虑各视频帧之间的时间先后顺序，将

H Q *

进行序列编码：

（17）

S q, 2 j = s i n q / 10 000 2 j / d m o d e l *

（18）

S q, 2 j + 1 = c o s q / 10 000 2 j / d m o d e l *

式中，S₍_q_,2_j₎、S₍_q_,2_j₊₁₎为视频中第q帧视频帧偶数维度、奇数维度的序列编码。

H Q * *

与对应序列编码相加后，形成新哈欠特征矩阵

H Q * *

，再通过训练好的矩阵

W Q *

、

W K *

、

W V *

进行线性变换，得到新哈欠特征矩阵

H Q * *

的查询矩阵

Q *

、键矩阵

K *

和值矩阵

V *

，计算过程为：

（19）

Q * = H Q * * × W Q *

（20）

K * = H Q * * × W K *

（21）

V * = H Q * * × W V *

根据式（10），得到其他视频帧包含的该视频帧信息，通过式（11）和式（12），多个子空间充分挖掘学习视频帧相关信息，之后根据式（13）~式（15），得到变种Transformer模型编码器部分的输出

O t *

，通过图9所示的变换，利用

d m o d e l * × 2

维的线性变换矩阵

W α

得到线性变换Ⅱ的输出O：

（22）

O = O t * × W α

如图10所示，利用(n×1)维的矩阵W^β对O的转置矩阵O^T进行线性变换，得到线性变换Ⅲ的输出O_μ：

（23）

O μ = O T × W β

最终分类结果为：

（24）

A n s = a r g m a x S o f t m a x O μ T

式中，A_ns为视频分类结果；

O μ T

为O_μ的转置矩阵。

本文提出的变种Transformer模型充分考虑视频帧之间的关联性，且引入序列编码使得视频帧时间维度得以关联，通过多头注意力机制和多层线性变换，可以实现对哈欠特征矩阵的分类。

5 试验验证与分析

收起

为了验证所提出方法的有效性，本文基于YawDD数据集^[15]进行训练和测试，与其他方法进行准确率的对比：

（25）

A c = T P + T N T P + T N + F P + F N

式中，A_c为准确率；T_P、F_P分别为被模型预测为哈欠的哈欠视频、其他视频数量；F_N、T_N分别为被模型预测为其他的哈欠视频、其他视频数量。

5.1 数据集构建

YawDD数据集是一个公开的视频数据集，视频分辨率均为680×480，帧率为30帧/s，包含2个子数据集，分别由固定在后视镜下方的摄像头拍摄的视频和由固定在组合仪表上方的摄像头拍摄的视频组成^[15]。考虑到角度问题以及人脸关键点定位精准度，本文主要以第2个子数据集为研究对象。该子数据集中的每个视频包含不同的驾驶员，且驾驶员在同一个视频里面包含讲话、大笑、唱歌、打哈欠等行为，不能直接用来进行驾驶员哈欠检测，因此本文采用人工重构数据集的方法对数据集进行处理，得到新的数据集DX-YawDD：即将每个视频中出现的打哈欠视频片段单独裁剪出来，作为哈欠数据集，将每个视频的其他视频片段按照每段视频3~10 s进行随机切割，得到新的视频集，作为其他数据集。经过处理后，DX-YawDD数据集中共包含71个哈欠数据集视频，344个其他数据集视频。

5.2 试验环境

本文试验环境配置如下：服务器处理器为Intel Core i7-9750H CPU @2.60 GHz，安装内存为8 GB，在Windows10环境下，在Pytorch深度学习框架下搭建了基于Dlib和变种Transformer哈欠检测模型，使用数据集DX-YawDD进行模型训练和性能测试。其中，模型测试集共有125个视频，包括随机选取的22个打哈欠视频和103个其他视频，剩下的49个哈欠视频和241个其他视频组成模型训练集。

5.3 试验结果

基于训练数据集，选择变种Transformer模型的损失函数为交叉熵损失函数，采用随机梯度下降优化器，学习率为0.001，动量为0.99，得到图11所示的损失函数曲线。

由图11可知，当训练1 700次时，损失函数收敛，此时模型训练的准确率为100%。模型在测试数据集上的哈欠检测结果如表1所示，准确率达到96.8%，召回率为95.5%，表明本方法哈欠漏检率较低。

将本文方法与其他哈欠检测算法基于DX-YawDD数据集进行对比验证，不同算法的哈欠检测准确率如表2所示。

由表2可知，本文算法的检测准确率为96.8%，高于其他检测算法。这是因为本文算法综合考虑了眼部、嘴部的哈欠特征，构建了包含有直接、隐含哈欠特征的视频特征矩阵，利用变种Transformer模型进行特征提取和分类，关注了各视频帧之间的联系，捕捉到远距离视频帧之间的依赖特性，提高算法的准确性。

6 结束语

收起

针对现有驾驶员哈欠检测时，哈欠特征单一、分类阈值无法度量、视频图像中帧与帧之间缺乏联系等问题，本文提出了基于Dlib和变种Transformer算法，通过公开数据集YawDD进行测试，本文算法的哈欠检测准确率高达96.8%，可以应用于驾驶员疲劳驾驶初期哈欠检测任务，对避免驾驶员疲劳驾驶，保障人员和道路安全具有积极作用。

同时，利用本文算法进行哈欠检测时，虽然多方面考虑了人脸特征点对于哈欠检测的作用，但还存在面部特征挖掘不充分等缺陷，下一步可以通过3D卷积等方法进行挖掘，避免显式的哈欠特征提取，进一步简化算法，提高准确率与鲁棒性。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

RAMZAN

, KHAN

H U

, AWAN

S M

, et al. A Survey on State-of-the-Art Drowsiness Detection Techniques[J]. IEEE Access, 2019, 7: 61904-61919.

[2]

L L

, CHEN

Y Z

, LI

Z L

. Yawning Detection for Monitoring Driver Fatigue Based on Two Cameras[C]// International IEEE Conference on Intelligent Transportation Systems. St. Louis, MO, USA: IEEE Xplore, 2009: 1-6.

[3]

马素刚, 赵琛, 孙韩林, 等. 一种基于卷积神经网络的哈欠检测算法[J]. 计算机科学, 2018, 45(增刊1): 227-229+241.

S G

, ZHAO

, SUN

H L

, et al. A Yawn Detection Algorithm Based on Convolutional Neural Network[J]. Computer Science, 2018, 45(S1): 227-229+241.

[4]

KNAPIK

, CYGANEK

. Driver’s Fatigue Recognition Based on Yawn Detection in Thermal Images[J]. Neurocomputing, 2019, 338: 274-292.

[5]

史瑞鹏, 钱屹, 蒋丹妮. 一种基于卷积神经网络的疲劳驾驶检测方法[J]. 计算机应用研究, 2020, 37(11): 3481-3486.

SHI

R P

, QIAN

, JIANG

D N

. A Fatigue Driving Detection Method Based on Convolutional Neural Network[J]. Application Research of Computers, 2020, 37(11): 3481-3486.

[6]

王超, 徐楚昕, 王志锋. 面向空中交通管制员疲劳识别的哈欠检测[J/OL]. 安全与环境学报: 1-10[2022-05-14]. https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=AQHJ20220309001&uniplatform=NZKPT&v=8I6eb9my9pOBu6DEUKHOhjzqycQ_xssEGLzK8T5lM05Lzrc0oOeNNhpgPYZ0Yemr. DOI:10.13637/j.issn.1009-6094.2021.2353.

WANG

, XU

C X

, WANG

Z F

. Yawn Detection for Air Traffic Controller Fatigue Recognition[J/OL]. Journal of Safety and Environment: 1-10[2022-05-14]. https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=AQHJ20220309001&uniplatform=NZKPT&v=8I6eb9my9pOBu6DEUKHOhjzqycQ_xssEGLzK8T5lM05Lzrc0oOeNNhpgPYZ0Yemr. DOI:10.13637/j.issn.1009-6094.2021.2353.

[7]

VASWANI

, SHAZEER

, PARMAR

, et al. Attention Is All You Need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. New York, USA: ACM Press, 2017: 5998-6008.

[8]

KAZEMI

, SULLIVAN

. One Millisecond Face Alignment with an Ensemble of Regression Trees[C]// Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE Press, 2014: 1867-1874.

[9]

王迪. 基于人眼状态的疲劳检测算法研究与应用[D]. 成都: 电子科技大学, 2020.

WANG

. Research and Application of Fatigue Detection Algorithm Based on Human Eye State[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[10]

刘春平, 高翔, 张建伟, 等. 基于人脸关键点的表情实时动态迁移[J]. 现代计算机(专业版), 2019(2): 41-45.

LIU

C P

, GAO

, ZHANG

J W

, et al. Real-Time Dynamic Migration of Expressions Based on Facial Key Points[J]. Modern Computer, 2019(2): 41-45.

[11]

SOUKUPOVA’

, ECH

J C

. Real-Time Eye Blink Detection Using Facial Landmarks[J]. Computer Vision Winter Workship, 2016: 3-5.

[12]

JOHN

S J

, SHARMILA

S T

. Real Time Blink Recognition from Various Head Pose Using Single Eye[J]. Multimedia Tools and Applications, 2018, 77(23): 31331-31345.

[13]

李小平, 白超. 基于深度学习的司机疲劳驾驶检测方法研究[J]. 铁道学报, 2021, 43(6): 78-87.

X P

, BAI

. Research on Driver Fatigue Driving Detection Method Based on Deep Learning[J]. Journal of the China Railway Society, 2021, 43(6): 78-87.

[14]

卢喜东, 段哲民, 钱叶魁, 等. 一种基于深度森林的恶意代码分类方法[J]. 软件学报, 2020, 31(5): 1454-1464.

X D

, DUAN

Z M

, QIAN

Y K

, et al. A Deep Forest-Based Malicious Code Classification Method[J]. Journal of Software, 2020, 31(5): 1454-1464.

[15]

ABTAHI

, OMIDYEGANEN

, SHIRMOHAMMADI

, et al. YawDD: A Yawning Detection Dataset[C]// Proceedings of the 5th ACE Multimedia Systems Conference. New York, USA: ACM, 2014: 24-28.

[16]

ANITHA

, VENKATESHA

M K

, ADIGA

B S

. A Two Fold Expert System for Yawning Detection[J]. Procedia Computer Science, 2016, 92: 63-71.

[17]

YANG

, LIU

, MIN

W D

, et al. Driver Yawning Detection Based on Subtle Facial Action Recognition[J]. IEEE Transactions on Multimedia, 2020, 23: 572-583.

[18]

X F

, XIA

J H

, CAO

L B

, et al. Driver Fatigue Detection Based on Convolutional Neural Network and Face Alignment for Edge Computing Device[J]. Proceedings of the Institution of Mechanical Engineers, 2021, 235(10/11): 2699-2711.

2023年第卷第3期

PDF下载

189

引用本文

BibTeX

文章信息

doi: 10.19620/j.cnki.1000-3703.20220453

首发时间：2025-12-07
出版时间：2023-03-24

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2022-06-30

基金

作者信息

¹ 华东交通大学，南昌 330013

² 江西省先进控制与优化重点实验室，南昌 330013

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcjs/CN/10.19620/j.cnki.1000-3703.20220453

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT