汽车工程师

肢体尺寸	4~6岁	7~10岁	11~12岁	18~60岁
肩宽/mm	245.0	284.5	320.0	363.0
上臂长度/mm	197.0	237.5	272.5	298.5
前臂长度/mm	144.5	178.5	202.0	227.5

肢体尺寸	4~6岁	7~10岁	11~12岁	18~60岁
肩宽/mm	245.0	284.5	320.0	363.0
上臂长度/mm	197.0	237.5	272.5	298.5
前臂长度/mm	144.5	178.5	202.0	227.5

肢体比值	合理区间	肢体比值	合理区间	肢体比值	合理区间
肢体3/肢体1	1.90~2.10	肢体4/肢体1	1.45~1.85	肢体6/肢体1	1.45~1.85
肢体3/肢体2	1.90~2.10	肢体4/肢体2	1.45~1.85	肢体6/肢体2	1.45~1.85
肢体3/肢体4	1.00~1.40	肢体4/肢体3	0.65~1.05	肢体6/肢体3	0.65~1.05
肢体3/肢体5	1.40~1.80	肢体4/肢体5	1.15~1.55	肢体6/肢体4	0.90~1.10
肢体3/肢体6	1.00~1.40	肢体4/肢体6	0.90~1.10	肢体6/肢体5	1.15~1.55
肢体3/肢体7	1.40~1.80	肢体4/肢体7	1.15~1.55	肢体6/肢体7	1.15~1.55
肢体3/肢体8	0.65~1.05	肢体4/肢体8	0.55~0.85	肢体6/肢体8	0.55~0.85
肢体3/肢体9	0.65~1.05	肢体4/肢体9	0.55~0.85	肢体6/肢体9	0.55~0.85

肢体比值	合理区间	肢体比值	合理区间	肢体比值	合理区间
肢体3/肢体1	1.90~2.10	肢体4/肢体1	1.45~1.85	肢体6/肢体1	1.45~1.85
肢体3/肢体2	1.90~2.10	肢体4/肢体2	1.45~1.85	肢体6/肢体2	1.45~1.85
肢体3/肢体4	1.00~1.40	肢体4/肢体3	0.65~1.05	肢体6/肢体3	0.65~1.05
肢体3/肢体5	1.40~1.80	肢体4/肢体5	1.15~1.55	肢体6/肢体4	0.90~1.10
肢体3/肢体6	1.00~1.40	肢体4/肢体6	0.90~1.10	肢体6/肢体5	1.15~1.55
肢体3/肢体7	1.40~1.80	肢体4/肢体7	1.15~1.55	肢体6/肢体7	1.15~1.55
肢体3/肢体8	0.65~1.05	肢体4/肢体8	0.55~0.85	肢体6/肢体8	0.55~0.85
肢体3/肢体9	0.65~1.05	肢体4/肢体9	0.55~0.85	肢体6/肢体9	0.55~0.85

基于肢体尺寸的车内遗留儿童检测方法

PDF下载

曹立波 ¹^,² , 赵俊杰 ² , 陈凯 ² , 戴丽华 ² , 朱李平 ² , 陶强 ²

汽车工程师 | 第二十五届汽车安全技术国际学术会议专题 2023,(6): 7-13

收起

汽车工程师 | 第二十五届汽车安全技术国际学术会议专题 2023, (6): 7-13

基于肢体尺寸的车内遗留儿童检测方法

全屏

曹立波¹^,², 赵俊杰², 陈凯², 戴丽华², 朱李平², 陶强²

作者信息

¹ 湖南大学，汽车车身先进设计制造国家重点实验室，长沙 410082

² 长沙立中汽车设计开发股份有限公司，长沙 410205

Detection Method of Children Left in Car Based on Limb Size

Libo Cao¹^,², Junjie Zhao², Kai Chen², Lihua Dai², Liping Zhu², Qiang Tao²

Affiliations

¹ State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan University, Changsha 410082

² Changsha Lizhong Automobile Design and Development Company, Changsha 410205

出版时间: 2023-06-15 doi: 10.20104/j.cnki.1674-6546.20230129

文章导航

摘要

收起

为解决车内遗留儿童检测容易受到外界因素干扰的问题，提出了一种基于肢体尺寸的车内儿童遗留检测算法。首先使用OpenPose算法获得红外图上人体骨骼点的像素坐标，再利用相机内参和图片深度信息求取肢体尺寸，最后通过肢体尺寸拟合出车内乘员的体积进行成人或儿童的判断。试验结果表明，该方法相比于红外热传感器、电容传感器等其他方法准确性更高，不易受环境因素的干扰。

关键词

计算机视觉 / 车内儿童遗留 / 肢体尺寸 / OpenPose算法

Abstract

收起

In order to solve the problem that the detection of children left in the car is easily disturbed by external factors, this paper proposed a detection algorithm for children left in the car based on limb size. First, the OpenPose algorithm was used to find the pixel coordinates of the human skeleton points on the infrared image, and then the camera internal parameters and picture depth information were used to calculate the limb size, and finally the body size was fitted to the volume of the occupants in the car for adult or child judgment. The experimental results show that this method has higher accuracy compared with other methods, such as infrared thermal sensor, capacitive sensor, is not easily disturbed by other environmental factors.

Key words

Computer vision / Child left in the car / Limb size / OpenPose algorithm

引用本文

曹立波, 赵俊杰, 陈凯, 戴丽华, 朱李平, 陶强. 基于肢体尺寸的车内遗留儿童检测方法. 汽车工程师, 2023 , (6) : 7 -13 . DOI: 10.20104/j.cnki.1674-6546.20230129

Libo Cao, Junjie Zhao, Kai Chen, Lihua Dai, Liping Zhu, Qiang Tao. Detection Method of Children Left in Car Based on Limb Size[J]. Automotive Engineer, 2023 , (6) : 7 -13 . DOI: 10.20104/j.cnki.1674-6546.20230129

正文

收起

1 前言

收起

为降低儿童独自长时间留在密闭的车内发生危险的可能性，中国新车评价规程（China-New Car Assessment Program，C-NCAP）将在2025年版管理规则中加入儿童存在检测测试项目，为安装该装置的车辆提供加分项。

检测车内是否滞留儿童需要借助传感器来实现，现有技术大多使用红外热传感器、电容传感器等。杨波等^[1]通过红外热传感器检测车内是否存在儿童，但在车内温度高于50 ℃时传感器会出现“高温致盲”现象；王润民等^[2]利用电容传感器，将人体等效为电容，根据电容的改变判断是否有人滞留在座位上，但难以特异性地区别人体和其他物体。Levi^[3]提出了一种神经网络结构用于进行年龄段分类，检测速度较快，但当车内遗留人员的面部所在平面与相机所在平面的夹角大于40°时，无法检测到人脸，也无法提取面部特征。

基于深度传感器中深度信息的肢体尺寸测量技术可以排除上述情况的干扰，检测准确率较高，有较强的实用价值，故本文提出基于肢体尺寸的车内遗留儿童检测方法。首先通过OpenPose算法检测车内遗留人员身体的9个骨骼点，得到每个骨骼点在红外图上的像素坐标，再利用相机内参和骨骼点的深度信息求得每个骨骼点在深度相机坐标系下的空间坐标值，通过求得所需肢体两端骨骼点间的欧氏距离获得肢体尺寸，最后利用最小二乘法拟合出肢体尺寸与人体体积的关系，利用人体体积与设定的阈值的关系判断其为成人或儿童。

2 基于OpenPose的肢体尺寸测量算法

收起

考虑到乘员的自救能力，本文将13岁及以下年龄段的乘员划分为儿童，其余年龄乘员划分为成人。

2.1 数据采集

本文采用TOFIR深度相机进行图像深度数据的采集。TOFIR深度相机通过红外发射器向目标连续发射红外脉冲，由传感器接收返回的脉冲信号，通过测量红外脉冲发射及被接收的时间差，计算得到相机与被拍摄物体的距离以产生深度信息，从而得到RGB图片、红外图片及深度图片。

本文数据采集对象为20位成人和20位儿童，采集的数据集为视频数据集，每个视频的录制时长为5 min左右，视频帧速率为15 帧/s。在视频录制过程中，儿童和成人单独或两两一组坐在汽车的后排座椅上，为了确保视频数据集的真实性，要求试验对象在车内自由动作，数据采集示例如图1所示。

为使试验结果具有可比对性，在录制数据集前采集了每个试验对象的真实肢体尺寸。具体采集方法为在一面干净的墙上水平和垂直方向分别粘贴最小刻度为1 mm的标尺，测量时要求试验对象背靠且紧贴墙壁，如图2所示。

2.2 人体骨架识别原理

本文采用OpenPose算法进行人体骨架的识别^[4]。OpenPose算法采用自下而上的人体骨骼算法，分为2个步骤，先通过卷积姿态机（Convolutional Pose Machines，CPM）检测图片中所有的人体骨骼点，再通过骨骼点亲和域（Part Affinity Fields，PAFs）算法将同一试验对象的所有骨骼点聚类在一起并进行连接。

本文使用的训练数据集是COCO数据集，共有18个骨骼关键点，如图3所示。OpenPose算法由2个分支组成，算法模型结构如图4所示。模型的输入为RGB彩色图片，通过特征提取主干网络VGG-19提取输入图片的特征并输入到2个平行的分支结构中。第1个分支用来训练骨骼点的坐标位置和置信度，输出包含人体骨骼点位置信息的热力图和置信度；第2个分支用于训练人体骨骼点的亲和度，输出为每2个骨骼点间的亲和度，进一步连接亲和度最高的骨骼点，形成肢体。在训练阶段，每个特征图都利用损失函数计算损失值，再根据损失结果对前面的网络结构进行反馈，不断更新网络参数，网络一直进行循环，直至收敛。

2.3 人体肢体尺寸测量算法

本文试验的数据采集使用由相机输出的3种类型图片，分别为尺寸为640×480的RGB图片、尺寸为240×240的红外图片及尺寸为240×240的深度图片。考虑到RGB图的成像质量受光照条件影响较大，在过亮或过暗条件下，OpenPose算法在RGB图上的骨骼点检测效果很差。但红外图的成像质量不受外界光照条件的干扰，OpenPose算法在该类图上检测效果良好，因此，本文骨骼点检测算法的输入数据为尺寸为240×240的红外图。

以红外图片作为输入，经过OpenPose神经网络，输出18个骨骼点的像素坐标。在红外图和深度图尺寸一致的情况下，将红外图片上骨骼点的像素坐标投影到深度图上，即可获得该像素点在该相机坐标下的深度信息。进一步获取相机内参f_x、f_y、c_x、c_y，其中f_x为相机的水平焦距，f_y为相机的垂直焦距，c_x为相机在水平方向上的偏移量，c_y为相机在垂直方向上的偏移量。将所需骨骼点的像素坐标(x',y')转化为相机坐标系下的空间坐标(x,y,z)：

（1）x=(x'-c_x)z/f_x

（2）y=(y'-c_y)z/f_y

式中，z为骨骼点与相机平面的距离，通过相机直接测得。

利用欧氏距离公式即可求得任意两骨骼点之间的空间距离，即人体的肢体尺寸。

3 肢体尺寸的校正

收起

本文利用Python语言书写代码，获取了视频数据集中试验对象每一帧各肢体的测量长度，并将其记录在表格中，绘制试验对象每一视频帧的肩宽测量结果散点图，如图5所示。由图5可知，测得的该试验对象的真实肩宽为0.31 m，允许误差范围为0.26~0.36 m。

从图5中可以看出，由于车内人员的自由活动以及相机自身存在的误差，相机测量值与实际值不完全一致，且当试验对象身体被部分遮挡或相对于相机有较大偏角时，肩宽的测量结果与真实值的差值较大。因此，需剔除不合理的肢体尺寸数据以确保试验结果的准确性。

3.1 剔除深度值缺失的骨骼点

在将图片中骨骼点的像素坐标转化为相机坐标系下的空间坐标过程中，发现某些骨骼点的深度为0 mm，如图6所示。出现上述现象的原因是某些骨骼点映射到了车内座椅上，而试验车辆的座椅为黑色，TOFIR深度相机发射的红外光到达黑色座椅上时被吸收导致红外光无法反射，因此黑色座椅上所有点的深度值均为0 mm。

考虑到实际情况下，人体骨骼点与相机的距离为0 mm的概率可以忽略不计，故可直接剔除此类数据。

3.2 剔除被遮挡的骨骼点

试验过程中发现，当试验对象某个骨骼点被遮挡且遮挡面积不大时，该骨骼点仍会被识别，如图7所示。在该情景中，试验对象左手遮挡了右肘关节点，但右肘关节点仍被骨骼点检测算法推理获得。根据红外相机的特性，该肘关节点测量的深度结果为左手手背的深度，会造成该骨骼点在相机坐标系下的坐标位置与真实的坐标位置不一致，从而进一步影响与该骨骼点相关的肢体尺寸的计算。

针对此类情况，本文将试验对象的肢体均视为一个向量a，向量两端的2个骨骼点分别为A(x₁,y₁)、B(x₂,y₂)，在向量中心取一点C(x₃,y₃)，将向量a均分为2个向量b、c，二者的夹角为：

（3）$cos<b,c>=\frac{b\cdot c}{\left|b\right|\cdot \left|c\right|}$

在骨骼点A、B均无遮挡的情况下，向量b、c之间的夹角较小；而A、B中至少有一个被遮挡时，向量b、c之间的夹角较大，如图8所示。通过大量数据分析，本文选取向量b、c夹角的阈值为20°，即夹角大于20°时，认定该肢体两端的2个骨骼点中至少有一个被遮挡。

3.3 剔除定位错误的骨骼点

当试验对象处于相机视角边缘位置且仅部分肢体在视图内时，OpenPose算法会将视图内的部分肢体视为完整肢体，仍然推理出了该肢体上的所有骨骼点，如图9所示。从图9中可以看出，该试验对象的左手只有部分在视图中，该情况下算法推理出的左手腕骨骼点位置错误，因此，该情况下求得的错误肢体尺寸也需剔除。

本研究选取9段肢体作为研究对象，如图10所示。由于鼻子骨骼点是非固定的，鼻子和颈部间的肢体尺寸也是可变的，故该肢体尺寸不用于计算与其他肢体尺寸的比值。

考虑到人体的形态和体态虽各不相同，但每个人相同的2个肢体间的比值是相似的，人体尺寸数据相关性的研究^[5]验证了这一观点。通过查阅中国成年人人体尺寸^[6]和中国未成年人人体尺寸^[7]的相关文献，选择其中的4个年龄段，并采用每个年龄段的肢体的平均值作为该年龄段的标准，如表1所示。

计算不同年龄段各肢体间的比值，然后选择需要的肢体比值并赋予其阈值范围，如表2所示。首先，将每一帧中肢体3作为第一置信度的肢体，计算肢体3与其他肢体的尺寸比值，如果超过1/3的比值处于正常阈值范围，则认定该视频帧下测得的肢体3的长度合理，同时，与肢体3的比值在合理阈值范围内的肢体也认定为合理，输出该视频帧下所有合理的肢体尺寸。如果肢体3与其他肢体的比值在设定阈值范围内的数量少于比值总数量的1/3，则认为肢体3的测量尺寸不合理并将其舍弃，进一步选择肢体4作为第一置信度的肢体，重复上述操作判断该视频帧下测量得到的肢体4的尺寸是否合理，若合理，输出肢体4的尺寸及与肢体4的比值在合理阈值范围内的所有肢体尺寸，否则舍弃肢体4的测量尺寸，进一步选择肢体6作为第一置信度的肢体，重复上述操作，若肢体6的尺寸仍然被判断为不合理，则舍弃该视频帧下的所有肢体尺寸，进入视频下一帧重复上述操作。

在经过上述3类后处理后，由合理边界构成的合理区间内的数据量与总数据量的占比由89.00%提升到97.91%，标准差由0.110 8 m降低到0.036 3 m，如图11所示，该试验对象肩宽测量值的准确性大幅提高。

4 肢体尺寸与人体体积的拟合

收起

在判断车内遗留乘员是成人或儿童的过程中，如果仅利用人体上的某一个肢体，判断结果受该肢体的影响较大，即鲁棒性不强。本文先对每一帧所需的9段肢体进行前文中的后处理操作，剔除测量结果准确性低的肢体，利用剩余的所有肢体数据拟合出车内乘员的体积，根据体积的阈值判断车内被遗留的乘员中是否存在儿童。

在进行肢体和体积的拟合时，本文首先在HumanShape网站上下载人体模型共285个，如图12所示。模型的身高范围为1 000~1 900 mm，身体质量指数（Body Mass Index，BMI）范围为16~28 kg/m²。每个模型的肢体尺寸可以从HumanShape网站上直接获取，体积可以通过代码求得，进一步通过最小二乘法拟合出人体模型的肢体尺寸与体积之间的关系。

人体的体积与身高存在线性相关关系^[8]，因此本文以肢体尺寸作为自变量，人体体积V作为因变量，建立多元一次回归方程，利用最小二乘法进行拟合，考虑到肢体的对称性，取对称肢体的平均值进行计算，结果为：

（4）V=0.000 767 1t₁-0.000 197 2t₂+0.000 265 2t₃-0.000 022 2t₄-0.080 585 1

式中，t₁为肢体2（半肩）的尺寸；t₂为肢体3（上臂）的尺寸；t₃为肢体4（前臂）的尺寸；t₄为肢体9（颈部到髋）的尺寸。

本文选取体积0.04 m³作为区分成人和儿童的阈值，即将通过本文算法测得的体积不大于该阈值的乘员认定为儿童，大于该阈值的乘员认定为成人。

5 结束语

收起

本文提出了一种基于TOFIR深度相机的人体骨骼尺寸校正算法，并以人体骨骼尺寸为自变量，人体体积为因变量建立人体多元线性回归模型，最后将其应用于车内遗留儿童的检测。试验结果表明：带有深度信息的红外图片相比于普通红外图片更能还原真实情况。基于带有深度信息的红外图片和OpenPose算法测量出的肢体尺寸，在经过本文提出的后处理方法剔除误差较大的尺寸后，可以根据乘员体积准确识别出车内是否存在儿童，且测量结果不受到光照条件及车内乘员行为动作的影响，具有较强的鲁棒性。

由于骨骼尺寸校正算法设计得较为复杂，算法处理时间较长，目前该算法的运行速度还有待提升，后续可以进一步简化骨骼尺寸校正算法，在略降低算法准确率的情况下提高其推理速度，以满足实时性要求。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

杨波, 罗阳, 丁涛涛, 等. 基于单片机的车内儿童检测报警装置的设计[J]. 电子世界, 2019(14): 146-147.

YANG

, LUO

, DING

T T

, et al. Design of In-Car Child Detection Alarm Device Based on Single-Chip Microcomputer[J], Electronic World, 2019(14): 146-147.

[2]

王润民, 胡锦超, 杨楠, 等. 一种车内滞留儿童检测装置: CN205524112U[P]. 2016-08-31.

WANG

R M

, HU

J C

, YANG

, et al. A Detection Device for Children Stranded in A Vehicle: CN205524112U[P]. 2016-08-31.

[3]

LEVI

, HASSNER

. Age and Gender Classification Using Convolutional Neural Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Boston, MA, USA: IEEE, 2015: 34-42.

[4]

CAO

, SIMON

, WEI

S E

, et al. Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2016.

[5]

呼慧敏, 晁储芝, 赵朝义, 等. 中国成年人人体尺寸数据相关性研究[J]. 人类工效学, 2014, 20(3): 49-53.

H M

, CHAO

C Z

, ZHAO

C Y

, et al. A Correlation Study of Human Size Data in Chinese Adults[J]. Ergonomics, 2014, 20(3): 49-53.

[6]

国家技术监督局. 中国成年人人体尺寸: GB/T 10000—1988[S]. 北京: 中国标准出版社, 1989.

State Bureau of Technical Supervision. Human Dimensions of Chinese Adults: GB/T 10000—1988[S]. Beijing: Standards Press of China, 1989.

[7]

全国人类工效学标准化技术委员会. 中国未成年人人体尺寸: GB/T 26158—2010[S]. 北京: 中国标准出版社, 2011.

National Committee for Standardization for Human Efficiency Testing. Human Dimensions of Chinese Minors[S]. Beijing: Standards Press of China, 2011.

[8]

金晓峰. 女大学生人体体积测量与回归方程初探[J]. 体育科技文献通报, 2006(5): 86.

JIN

X F

. A Preliminary Study on the Equation of Human Body Dimensioning and Regression in Female College Students[J]. Sports Science and Technology Literature Bulletin, 2006(5): 86.

2023年第卷第6期

PDF下载

233

引用本文

BibTeX

文章信息

doi: 10.20104/j.cnki.1674-6546.20230129

首发时间：2025-11-25
出版时间：2023-06-15

补充材料

相关文章

文章信息

作者

出版历史

修回日期：2023-04-02

基金

作者信息

¹ 湖南大学，汽车车身先进设计制造国家重点实验室，长沙 410082

² 长沙立中汽车设计开发股份有限公司，长沙 410205

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcgcs/CN/10.20104/j.cnki.1674-6546.20230129

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT