中国安全科学学报

网络层	神经元个数	参数量
Dense_1 (输入层)	9	1 600
Batch_Normalization_1 (批标准化层)	9	18
Dropout_1 (正则化层)	9	0
Dense_2 (隐藏层)	160	1 600
Batch_Normalization_2 (批标准化层)	160	320
Dropout_2 (正则化层)	160	0
输出层	2	322

网络层	神经元个数	参数量
Dense_1 (输入层)	9	1 600
Batch_Normalization_1 (批标准化层)	9	18
Dropout_1 (正则化层)	9	0
Dense_2 (隐藏层)	160	1 600
Batch_Normalization_2 (批标准化层)	160	320
Dropout_2 (正则化层)	160	0
输出层	2	322

火灾图像	常规图像
①红色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	①红色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
②绿色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	②绿色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
③蓝色背景火灾场景：晴天自然光+阴天自然光暗+箱无光	③蓝色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
④森林火灾图像库	④随机拍摄其他背景非火灾场景

火灾图像	常规图像
①红色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	①红色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
②绿色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	②绿色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
③蓝色背景火灾场景：晴天自然光+阴天自然光暗+箱无光	③蓝色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
④森林火灾图像库	④随机拍摄其他背景非火灾场景

排序	序号	字段
①	X₂₂	RGB模式下绿色通道颜色特征值
②	X₃₂	HSV模式下饱和度通道颜色特征值
③	X₂₃	RGB模式下蓝色通道颜色特征值
④	X₂₁	RGB模式下红色通道特征值
⑤	X₃₁	HSV模式下色调通道特征值
⑥	X₁₂	Lab模式b通道颜色特征值
⑦	X₂₄	RGB模式下三通道颜色特征方差
⑧	X₃₄	HSV模式下三通道颜色特征方差
⑨	X₁₁	Lab模式下a通道颜色特征值

排序	序号	字段
①	X₂₂	RGB模式下绿色通道颜色特征值
②	X₃₂	HSV模式下饱和度通道颜色特征值
③	X₂₃	RGB模式下蓝色通道颜色特征值
④	X₂₁	RGB模式下红色通道特征值
⑤	X₃₁	HSV模式下色调通道特征值
⑥	X₁₂	Lab模式b通道颜色特征值
⑦	X₂₄	RGB模式下三通道颜色特征方差
⑧	X₃₄	HSV模式下三通道颜色特征方差
⑨	X₁₁	Lab模式下a通道颜色特征值

决策树类型	最大分裂数	分裂准则
粗略决策树	4	基尼多样性指数
中等决策树	20
精细决策树	100

决策树类型	最大分裂数	分裂准则
粗略决策树	4	基尼多样性指数
中等决策树	20
精细决策树	100

SVM类型	核函数	核尺度
线性SVM	线性	自动
二次SVM	二次	自动
三次SVM	三次	自动
高斯SVM	高斯函数	13

SVM类型	核函数	核尺度
线性SVM	线性	自动
二次SVM	二次	自动
三次SVM	三次	自动
高斯SVM	高斯函数	13

类型	全连接大小	隐藏层尺寸	备注
双层	2	10，10	激活函数ReLU 迭代次数1000
三层	3	10，10，10

类型	全连接大小	隐藏层尺寸	备注
双层	2	10，10	激活函数ReLU 迭代次数1000
三层	3	10，10，10

方法	精度/%	相关系数
决策树类	粗略决策树	82.40	0.768 2
中等决策树	85.00	0.792 5
精细决策树	87.30	0.813 9
支持向量机类	线性SVM	79.70	0.743 1
二次SVM	88.50	0.825 1
三次SVM	87.40	0.814 8
高斯SVM	81.30	0.758 0
神经网络类	双层神经网络	92.80	0.865 2
三层神经网络	92.30	0.860 5
本文方法	160-S-FCN	93.82	0.874 7

方法	精度/%	相关系数
决策树类	粗略决策树	82.40	0.768 2
中等决策树	85.00	0.792 5
精细决策树	87.30	0.813 9
支持向量机类	线性SVM	79.70	0.743 1
二次SVM	88.50	0.825 1
三次SVM	87.40	0.814 8
高斯SVM	81.30	0.758 0
神经网络类	双层神经网络	92.80	0.865 2
三层神经网络	92.30	0.860 5
本文方法	160-S-FCN	93.82	0.874 7

基于特征工程的S-FCN火灾图像检测方法

PDF下载

李海 ¹ , 熊升华 ¹ , 孙鹏 ²

中国安全科学学报 | 公共安全 2024,34(9): 191-201

收起

中国安全科学学报 | 公共安全 2024, 34(9): 191-201

基于特征工程的S-FCN火灾图像检测方法

全屏

李海¹, 熊升华¹, 孙鹏²

作者信息

¹ 中国民用航空飞行学院民航安全工程学院，四川德阳 618307

² 中国刑事警察学院公安信息技术与情报学院，辽宁沈阳 110036

李海 (1989—)，男，甘肃定西人，博士研究生，讲师，主要从事机器视觉、图像处理、智能模式识别方面的研究。E-mail：lihai@cafuc.edu.cn。

熊升华，副教授；

孙鹏，教授

S-FCN fire image detection method based on feature engineering

Hai LI¹, Shenghua XIONG¹, Peng SUN²

Affiliations

¹ College of Civil Aviation Safety Engineering，Civil Aviation Flight University of China，Guanghan Sichuan 618307，China

² School of Public Security Information Technology，Criminal Investigation Police University of China，Shenyang Liaoning 110036，China

出版时间: 2024-09-28 doi: 10.16265/j.cnki.issn1003-3033.2024.09.2063

文章导航

摘要

收起

针对复杂背景下火灾图像检测深度学习算法存在的计算复杂度高、检测实时性差等问题，提出一种基于特征工程的单隐层全连接网络(S-FCN)火灾图像检测方法。首先，从图像中提取多色彩空间颜色特征，并使用互信息量进行多色彩空间颜色特征降维；其次，简化深度学习模型的网络结构，将单隐层全连接网络作为其主干网络，其中，多色彩空间下的颜色特征能够更好地表征火灾烟雾与火焰，多色彩空间颜色特征降维能够有效降低输入特征的冗余度，单隐层全连接网络能够有效减少模型在传递过程中的参数数量；最后，将该方法在真实的复杂背景火灾图像数据集上进行试验评估。结果表明：所提方法取得的检测精度为93.83%，取得的检测实时性帧率为10 869帧/s，能够实现复杂场景下高精度、高速度的火灾图像检测。

关键词

特征工程 / 单隐层全连接网络(S-FCN) / 火灾图像 / 检测方法 / 色彩空间 / 特征降维

Abstract

收起

The S-FCN fire image detection method based on feature engineering was proposed to address the issues of high computational complexity and poor real-time performance of deep learning algorithms for fire image detection in complex backgrounds. Firstly，this method extracted color features from images in multiple color spaces and reduced the dimensionality of these features using mutual information. Secondly，the network structure of the deep learning model was simplified by using a single hidden layer of a fully connected network as its backbone. The color features in multiple color spaces can better represent fire smoke and flames，and reducing the dimensionality of color features in multiple color spaces effectively reduces the redundancy of input features. The single hidden layer fully connected network can significantly reduce the number of parameters during the model propagation process. Finally，this method was evaluated on a real and complex background fire image dataset. The experimental results show that the detection accuracy achieved by this method is 93.83%，and the real-time frame rate is 10 869 f/s. This method achieves high accuracy and high-speed fire image detection in complex scenes.

Key words

feature engineering / single hidden layer fully connected network(S-FCN) / fire image / detection method / color space / feature dimensionality reduction

引用本文

李海, 熊升华, 孙鹏. 基于特征工程的S-FCN火灾图像检测方法. 中国安全科学学报, 2024 , 34 (9) : 191 -201 . DOI: 10.16265/j.cnki.issn1003-3033.2024.09.2063

Hai LI, Shenghua XIONG, Peng SUN. S-FCN fire image detection method based on feature engineering[J]. China Safety Science Journal, 2024 , 34 (9) : 191 -201 . DOI: 10.16265/j.cnki.issn1003-3033.2024.09.2063

正文

收起

0 引言

收起

图像型火灾探测器作为火灾事故预防领域的研究热点之一，已广泛应用于森林、工矿、交通工具等场合的火灾探测过程中。近年来，随着机器视觉技术的迅猛发展，众多机器学习算法也已广泛应用于各种场景的火灾检测中。虽然这些方法在各种特定场景下取得了较高的检测精度，但在解决复杂背景下火灾图像检测问题时还存在数据平衡性差、计算复杂度高、检测实时性低等问题。因此，非常有必要研究一种兼具高精度与高实时性地检测复杂背景下火灾图像的方法，这对于防范复杂背景下火灾事故发生、保护公众生命和财产安全具有很现实的意义。

学者们对火灾图像检测技术的研究可分为2方面，一方面是基于特征工程的传统机器学习方法，另一方面是基于机器视觉的端到端深度学习方法。基于特征工程的传统机器学习方法主要难点在特征提取与选择上，在学习上主要基于决策树(Decision Tree，DT)、支持向量机(Support Vector Machine，SVM)、多层感知机(Multilayer Perceptrons，MLP)等经典传统学习方法，其优势在于检测实时性高，模型训练时间短，缺点在于特征工程阶段难以获取高效表征目标的特征。基于机器视觉的端到端深度学习方法的主要难点在于数据集的构建、网络结构的设计，优点在于可获得较高的检测精度，缺点在于训练时间长，检测实时性差，难以有效嵌入硬件平台^[1-2]。针对复杂背景图像中火灾区域的火焰检测问题，杨其睿^[3]提出一种改进的DenseNet深度神经网络结构。针对图像型火灾探测器检测过程中同时检测烟雾和火焰问题，YANG Yi等^[4]提出一种基于YOLOv3的图像型火灾探测算法；VENANCIO等^[5]提出一种适用于低功耗、资源受限设备的深度卷积神经网络模型；MAJID等^[6]提出一种融合注意力机制与EfficientNetB0的迁移学习架构。针对早期森林火灾探测的自动化监测系统，KHAN等^[7]提出一种基于VGG19的迁移学习方法；DOGAN等^[8]提出一种使用ResNet网络集成学习进行构建八特征向量的方法。针对室内烟雾与火焰探测系统，PINCOTT等^[9]提出一种Faster R-CNN Inception V2模型；MUKHIDDINOV等^[10]提出一种改进的YOLOv4模型。针对早期火灾实时探测，DILSHAD等^[11]提出一种改进的VGG16网络模型。针对传统探测器容易受到外部环境的损坏或干扰等问题，AN Qing等^[12]提出一种使用视频序列的动态卷积YOLOv5火灾检测方法；AHN等^[13]提出一种基于视觉的早期火灾探测模型；HUANG Lida等^[14]提出一种使用小波提取光谱特征的方法。针对现有火灾探测模型中精度低、计算复杂度高等问题，KHAN等^[15]提出一种Stacked Encoded EfficientNet 模型；HOSNI等^[16]提出一种基于Time-Efficient的火灾探测卷积神经迁移学习网络模型；LI Yuming等^[17]提出一种基于轻量级网络MobileNetV3的火灾探测模型。为了更好地实现对火灾位置、误报和模型大小之间的权衡，ZHANG Rong等^[18]提出一种基于深度学习的无锚架构火灾检测方法。

通过对当前研究的梳理，不难发现，很少有学者融合基于特征工程的传统机器学习方法与基于机器视觉的深度学习方法，各取所长，进行火灾图像的检测研究。为提高复杂背景下火灾图像检测的精度和实时性，笔者拟融合基于特征工程的传统机器学习方法与基于机器视觉的深度学习方法，提出一种基于特征工程的单隐层全连接网络(Single Hidden Layer Fully Connected Network，S-FCN)火灾图像检测方法。

1 基于特征工程的S-FCN网络火灾图像检测方法

收起

1.1 多色彩空间下颜色特征降维

1.1.1 多色彩空间下颜色特征提取

多色彩空间下颜色特征是指每个样本中都可以提取到包含多个色彩空间颜色信息的特征。由于该特征能够提供更全面的信息，进而能够有效提升模型的精度性能。然而，随着色彩空间类型增加，其颜色特征数量也随之增加，这将导致模型复杂度和计算成本的提高。文中选用常用的Lab、红绿蓝三原色(Red，Green，Blue，RGB)、色彩-饱和度-亮度(Hue，Saturation，Value，HSV)这3种色彩空间进行颜色特征提取。其中，RGB色彩空间下的颜色特征计算过程如下式，HSV、Lab色彩模式下的颜色特征可同理得出。

(1)

d r = ∑ i = 1 M ∑ j = 1 N r / M N

(2)

d g = ∑ i = 1 M ∑ j = 1 N g / M N

(3)

d b = ∑ i = 1 M ∑ j = 1 N b / M N

(4)

m r = [∑ i = 1 M ∑ j = 1 N (r - d r) 2] / (M N)

(5)

m g = [∑ i = 1 M ∑ j = 1 N (g - d g) 2] / (M N)

(6)

m b = [∑ i = 1 M ∑ j = 1 N (b - d b) 2] / (M N)

(7)

k r = d r m r; k g = d g m g; k b = d b m b

(8)

D = k r - k r + k g + k b 3 2 + k g - k r + k g + k b 3 2 + k b - k r + k g + k b 3 2

式中：r、g、b分别为每个图像像素的红、绿、蓝3个分量值；d_r、d_g、d_b为RGB图像各个分量信息的平均值；M、N为图像的像素维数；m_r、m_g、m_b为RGB图像各个分量信息偏色平均值；k_r、k_g、k_b为3个分量偏色因子；D为偏色因子方差。

1.1.2 多色彩空间下颜色特征贡献度检测

密度曲线图可表征不同特征对于常规图像和火灾图像数据分类的贡献度大小。当同一特征密度曲线图中2类数据的密度曲线差异较大时，表明此特征对于火灾图像与常规图像分类的贡献度较大；反之，当同一特征密度曲线图中2类数据的密度曲线差异较小时，表明此特征对于火灾图像与常规图像的分类贡献度较小。图1为多色彩空间下不同颜色特征对于火灾图像与常规图像分类的贡献度密度曲线图。其中，X₁₁为Lab色彩空间下a通道颜色特征，X₁₂为Lab色彩空间下b通道颜色特征，X₁₃为Lab色彩空间下a、b通道颜色特征方差值特征，X₂₁为RGB色彩空间下红色通道颜色特征值，X₂₂为RGB色彩空间下绿色通道颜色特征值，X₂₃为RGB色彩空间下蓝色通道颜色特征值，X₂₄为RGB色彩空间下三通道颜色特征方差，X₃₁为HSV色彩空间下色调颜色特征方差，X₃₂为HSV色彩空间下饱和度通道颜色特征，X₃₃为HSV色彩空间下明度调通道颜色特征，X₃₄为HSV色彩空间下三通道颜色特征方差值特征。

由图1可知：①与3种色彩空间下其他颜色特征相比，HSV色彩空间下三通道颜色特征方差特征(X₃₄)对于2类数据的密度分布曲线在低阶和高阶数据范围趋势基本一致，表明该特征对于火灾图像与常规图像的分类贡献度较小。②与3种色彩空间下其他颜色特征相比，RGB色彩空间下三通道颜色特征方差(X₂₄)特征对于2类数据的密度分布曲线在低阶和中高阶数据范围趋势基本重叠，表明该特征对于火灾图像与常规图像的分类贡献度较小。③与3种色彩空间下其他颜色特征相比，RGB色彩空间下绿色通道颜色特征值(X₂₂)特征对于2类数据的密度分布曲线在整个范围内分布趋势差异均较大，表明该特征对于火灾图像与常规图像的分类贡献度较高。④与3种色彩空间下其他颜色特征相比，HSV色彩空间下饱和度通道颜色特征(X₃₂)对于2类数据的密度分布曲线在整个范围内分布趋势差异均较大，表明该特征对于火灾图像与常规图像的分类贡献度较高。上述密度曲线分布规律有效反映出多色彩空间下不同颜色特征对于火灾图像与常规图像的分类贡献度差异较大，因此非常有必要对多色彩空间下不同颜色特征进行降维。

1.1.3 基于互信息量的多色彩空间颜色特征降维

在机器学习过程中，输入层特征强度是模型性能的关键保障，输入层特征数量大小严重影响着模型的计算复杂度。因此，对于输入特征进行降维，将会极大地降低模型的计算复杂度以及检测时间成本。颜色特征互信息量^[19-20]是指一个颜色特征中包含的关于另外一个颜色特征的信息量，表征2个颜色特征间的相关性，对于多色彩空间下的颜色特征而言，任意2个颜色特征X和Y的互信息量I(X，Y)计算过程如下：

(9)

I (X ， Y) = ∑ y ∈ Y ∑ x ∈ X p (x ， y) l g (p (x ， y) p 1 (x) p 2 (y))

式中：

p (x ， y)

为待检图像中特定色彩空间下任意两颜色特征X和Y的联合分布列；

p 1 (x) ， p 2 (y)

为其边缘分布列。

图2为基于互信息量的多色彩空间下颜色特征对火灾图像与常规图像分类的具体贡献度分布。基于互信息量的颜色特征火灾图像检测贡献度得分排序能够有效量化各颜色特征对于图像检测类型的贡献度大小。由图2可知：①在Lab色彩空间下，b通道颜色特征(X₁₂)对于火灾图像与常规图像分类贡献度明显高于a通道颜色特征(X₁₁)。② 在RGB色彩空间下，对于火灾图像与常规图像分类贡献度最高的是绿色通道颜色特征(X₂₂)，蓝色通道颜色特征(X₂₃)的分类贡献度较高，红通道颜色特征(X₂₁)的分类贡献度最低。③在HSV色彩空间下，饱和度通道颜色特征(X₃₂)对于火灾图像与常规图像的分类贡献度最高，色调通道颜色特征(X₃₁)对于火灾图像与常规图像分类贡献度较高，明度调通道颜色特征(X₃₃)的分类贡献度最低。④从3种色彩空间各通道颜色特征分布的方差值来看，RGB色彩空间下红(R)、绿(G)、蓝(B)三通道颜色特征方差值特征(X₂₄)对于火灾图像与常规图像分类的贡献度最高，HSV色彩空间下色调(H)、饱和度(S)、明度(V)三通道颜色特征方差值特征(X₃₄)的分类贡献度较高，Lab色彩空间下a、b通道颜色特征方差值特征(X₁₃)的分类贡献度最低。⑤从整体来看，RGB色彩空间下的颜色特征对于火灾图像与常规图像的分类贡献度最高，HSV色彩空间下的颜色特征的分类贡献度次之，Lab色彩空间下的颜色特征的分类贡献度最低。

1.2 160-S-FCN网络

机器学习中将神经网络按照隐层数量大小分为单层和多层神经网络，其中单层神经网络是指只有一个隐层结构的神经网络，而多层神经网络是指包含2个及以上隐层结构的神经网络。全连接神经网络(Fully Connected Netural Network，FCN)是前馈神经网络的一种，由输入层、隐藏层和输出层组成，并且每个隐藏层中可以有多个神经元。S-FCN是指隐藏层仅有1层的神经网络，其隐藏层神经元与输出层之间全部连接。图3为笔者设计的160-S-FCN网络结构，其中输入层9个，隐藏层160个，输出层2个。

1.3 文中方法

1.3.1 方法流程

图4为基于特征工程的S-FCN网络火灾图像检测方法流程。该方法主要包括5部分，即图像数据预处理、颜色特征提取、特征降维、160-S-FCN神经网络、分类预测结果输出。其中，图像数据预处理主要包括图像的RGB、Lab、HSV色彩空间转换，多色彩空间下不同颜色特征提取主要包含在3种色彩空间下分别提取颜色特征，多色彩空间下不同颜色特征降维主要指在3种色彩空间下基于互信息量大小进行特征的有效降维，160-S-FCN神经网络是指针对复杂背景下火灾图像检测所设计的具有160个神经元的单隐层全连接网络，该网络结构参数节点较少，有效降低了模型的计算复杂度，进而提高了实时检测速度。

1.3.2 模型结构与参数配置

文中设计的160-S-FCN网络结构具体配置见表1。

该模型的激活函数、损失函数、优化器、评价指标等具体信息如下。

1) 激活函数。隐藏层激活函数选择ReLU，输出层选择Sigmoid激活函数进行图像分类预测，此时可将火灾图像检测问题转化为一个二分类问题。二分类预测使用的激活函数如下：

① ReLU函数：

(10)

h (x) = m a x {0 ， x}

式中

x

为输入值。

② Sigmoid函数：

(11)

h (x) = 1 1 + e x p (- x)

2) 损失函数。二元分类对数损失函数是一种用于衡量分类模型的损失函数，其常用于二元分类问题，具体计算过程如下：

(12)

l g L = - 1 n ∑ i = 1 n ((y i × l g (P i) × δ) + (1 - y i) × l g (1 - P i))

式中：n为测试集样本数量；

y i

为测试集中第

i

个样本的真实标签；

P i

为第

i

个样本的预估转化率；

δ

为惩罚系数。

3) 优化器。Adam(Adaptive Momentum)算法是一种自适应动量的随机优化算法，可以看作是动量法和RMSprop算法的结合，不但使用动量作为参数更新的方向，而且可以自适应调整学习率，具体计算过程如下：

(13)

M t = β 1 M t - 1 + (1 - β 1) g t

(14)

G t = β 2 G t - 1 + (1 - β 2) g t 2

式中：

M t

为权重的衰减值；

G t

为目前为止

g t

各个分量的平方的固定值；β₁和β₂分别为2个移动平均的衰减率，通常取值为β₁=0.9和β₂=0.99;

g t

为参数梯度。

假设M₀=0，G₀=0，那么在迭代初期M_t和G_t的值会比真实的均值和方差要小。特别是当β₁和β₂都接近1时，偏差会很大。因此，需要对偏差进行修正，具体修正过程如下：

(15)

M t = M t 1 - β 1 t

(16)

G t = G t 1 - β 2 t

Adam算法的参数更新差值如下式，其中，学习率α通常设为0.001，并且可以进行衰减，如α_t=α₀/

t

。

(17)

Δ θ t = - α G t + ε

式中：

ε

为平滑项；t为时间。

4) 评价指标。

① 准确率：

(18)

A c c = ∑ i ∈ F F (Y i = = Y i^) S × S - 1 | / 2

式中：

Y i 、 Y i^

分别为待检图像真实类型与预测类型；F为指示函数；S为待检图像样本集合总数，若给定的布尔表达式为真，其值为1，反之则为0。

② 斯皮尔曼等级相关系数。该系数越高，算法对于测试图像的分类性能越好，其具体计算过程如下：

(19)

ρ = 1 - 6 ∑ i ∈ S I (r (i) - r^(i)) 2 S × (S | 2 - 1)

式中f(i)和

r^

(i)分别为待检图像的真实分类和预测分类结果。

③ 实时检测速度。在机器学习算法中，实时检测速度通常指的是算法在处理数据时的处理速度。而在图像与视频处理过程中，往往使用帧率(Frames Per Second，FPS)来衡量检测算法的实时性大小。较高的FPS表示系统能够更快地处理和显示图像。因此，选择FPS来评价本文方法的检测实时性大小。

2 S-FCN模型试验结果与分析

收起

2.1 火灾图像数据获取与数据集构造

使用自制数据集进行模型的训练与性能测试，自制数据集图像源于Canon EOS80D相机拍摄的真火场景以及网上森林火灾图像库2部分。表2为自制数据集数据具体来源信息表，数据库总计7 775张，其中火灾图像3 777张，常规图像3 998张。

对于火灾图像，主要基于红色背景、绿色背景、蓝色背景在晴天自然光、阴天自然光、暗箱无光3种光照条件下进行火灾场景模拟，各取400幅，森林火灾图像库源于互联网收集的400幅图像，其中随机抽取177幅，总计3 777幅火灾场景图像。对于常规图像，主要基于红色背景、绿色背景、蓝色背景在晴天自然光、阴天自然光、暗箱无光3种光照条件下进行常规场景模拟，各取400幅，然后随机拍摄日出、日落、校园外景、教学楼内室等类似于火灾场景的常规场景398幅，总计3 998幅常规图像。

2.2 数据处理

2.2.1 颜色特征提取

1) RGB色彩空间颜色特征提取。基于RGB色彩模式下颜色特征提取方法提取图像颜色特征，共计4个特征。

2) Lab色彩空间颜色特征提取。首先，将数据集原始图像转化到Lab色彩空间；其次，基于Lab色彩空间下颜色特征提取方法提取图像颜色特征，共计3个特征。

3) HSV色彩空间颜色特征提取。首先，将数据集原始图像转化到HSV色彩空间；其次，基于HSV色彩空间下颜色特征提取方法提取图像颜色特征，共计4个特征。

2.2.2 数据降维

根据RGB、Lab、HSV色彩空间下提取的颜色特征，以及多通道特征降维结果(图2)，最终确定火灾图像检测颜色特征(表3)。

2.3 试验配置

在试验中分别从火灾图像和常规图像中随机选取70%和10%的样本用于训练和验证，将剩余的20%的图像作为测试样本。基于深度学习框架Tensorflow对160-S-FCN网络模型进行训练和测试。在训练过程中，优化器选用Adam，隐藏层激活函数选择ReLU，输出层激活函数选择Sigmoid，训练损失目标函数采用二元分类对数交叉熵损失函数，训练最大迭代次数为2 000。

2.4 试验结果对比分析

在对比试验中，将文中方法与传统机器学习模型进行对比，对比模型包括粗略、中等、精细策树，线性、二次、三次、高斯等支持向量机，双层、三层等神经网络，其中对比模型具体参数信息见表4—表6。表7为传统机器学习模型与本文方法的性能指标对比结果。

由表7可知：相比决策树类、支持向量机类、单层神经网络与双层神经网络等对比模型，文中针对复杂背景提出的多色彩空间下颜色特征降维的S-FCN网络火灾图像检测方法，在火灾图像检测的精度与斯皮尔曼相关系数上取得了较好效果。具体来说，文中方法在准确率和斯皮尔曼等级相关系数上分别为93.82%和0.874 7，与双层神经网络相比，2个指标上分别获得1.07%和1.09%的相对提升。

2.5 消融试验分析

2.5.1 不同激活函数的有效性分析

基于互信息量进行颜色特征组合检测精度的对比，能够有效寻找最佳组合特征，克服了基于多特征排列组合传统方法带来的高计算量以及盲操作性等问题。图5为不同激活函数下不同特征组合检测精度对比图。

由图5可知：①不同隐层尺寸下不同激活函数对于火灾图像检测结果具有相对稳定性，这表明本文所提出的方法对于复杂背景下的火灾图像检测具有较高可靠性。②随着单隐层尺寸从10层逐渐增加到10 240层，ReLU和Tanh激活函数的检测性能均越来越稳定，其检测精度分别为95.22%、93.93%。③从激活函数的有效性方面看，ReLU激活函数比Tanh激活函数检测精度更高；对于Logitic激活函数而言，随着隐层尺寸逐渐增加，其检测精度先增高后降低，且其稳定性相对较差；对于Identity激活函数而言，随着隐层尺寸的增加，其检测性能也越来越稳定，但其精度相较于上述3类激活函数明显处于劣势。

2.5.2 不同隐层尺寸的有效性分析

单隐层尺寸大小对火灾图像检测有效性具有较大影响，图6为不同隐层尺寸对火灾图像检测的有效性对比结果。

由图6可知：①随着单隐层尺寸的增加，模型的检测精度先增加后降低，当单隐层尺寸增加至160~320时，火灾图像检测精度达到最高(93.82%)。②当单隐层数为160时，图像的检测结果与真实结果的皮尔曼相关系数最高(0.874 7)，这与该网络结构下火灾图像检测精度最高具有高度一致性。③在训练成本方面，随着单隐层尺寸从10增加至20 480时，训练时间成本呈现指数增加态势；当单隐层数为160时，训练时间为256s，计算成本为20 480隐层模型的0.67%。因此，当单隐层尺寸为160时，对于复杂背景下火灾图像检测的精度、斯皮尔曼相关系数最高，训练时间成本也相对较小，模型的综合性能达到最优。

2.5.3 不同优化函数的有效性分析

深度神经网络的参数学习主要通过梯度下降法来寻找一组可以最小结构风险的参数，优化函数梯度下降可以分为批量梯度下降、随机梯度下降、小批量梯度下降3种形式。图7为常见3种不同优化函数的有效性对比结果。

由图7可知：在预测精度上，Adam、lbfgs、sgd优化函数分别为93.82%、94.44%、86.84%;但对于lbfgs优化器，随着迭代次数的增加产生了过拟合现象，Adam优化器在训练过程中稳定性较好，未产生过拟合现象。在斯皮尔曼相关系数上，Adam、sgd、lbfgs优化函数分别达到了0.884 4、0.758 7、0.862 8;在训练时间成本上，Adam、sgd、lbfgs优化函数分别为1 623.15、1 397.13、1 328.23s (迭代次数均为1 000)。综上所述，在训练成本上lbfgs、sgd优化器均明显低于Adam优化器，lbfgs较Adam优化器降低了13.92%，sgd较Adam优化器降低了18.17%;但在预测精度的稳定性、斯皮尔曼相关系数等指标上，Adam优化器明显优于lbfgs、sgd优化器。

2.5.4 特征组合类型与隐层尺寸大小匹配度分析

图8为ReLU激活函数下特征组合类型与隐层尺寸大小匹配度可视化图。由图8可知：对于性能最好的ReLU激活函数而言，9特征组合整体检测精度最高、稳定性较好；10特征组合整体精度也较高，但稳定性相较于9特征稍差；11特征、8特征、7特征相较于9特征从整体精度及稳定性方面均明显处于劣势。因此，ReLU激活函数下的9特征组合为最佳特征组合。对于性能最好的ReLU激活函数而言，随着单隐层尺寸的增加，其预测精度性能也随之增加，但由图5单隐层尺寸大小的有效性对比结果可知，随着隐层尺寸的增加，其训练时间成本也呈指数增长，从训练时间成本与预测精度2个角度综合考虑，单隐层尺寸为160的网络训练成本为256 s，其精度为93.82%;相较于单隐层尺寸为640的网络，其精度提高了0.7%，但训练成本降低了85%。因此，ReLU激活函数下的单隐层尺寸为160的全连接网络为最佳预测网络结构。

3 结论

收起

1) 针对复杂背景下火灾图像检测问题，提出一种基于特征工程的轻量型神经网络模型。该模型网络结构模块使用160-S-FCN，进一步压缩了网络结构，减少模型的参数数量，更进一步提升了检测实时性能。

2) 文中方法的检测精度和检测速度分别为93.82%和10 869帧/s，可实现检测速度和精度2方面性能的同时提升。虽然在检测精度上提升了1.07%，但是在实时性上提升了约1.1倍，参数数量上更是降低50%，这能够更好地保证在复杂背景下精准高效地检测火灾。

3) 针对文中方法训练出的模型还进行了消融试验。消融试验结果表明：该模型具有较高的鲁棒性与稳定性，针对昏暗、阴天、日出、室内等复杂场景下火灾图像检测仍然具有较高的检测精度，实现了在复杂环境中快速鲁棒检测火灾。

4) 文中方法主要适用中等尺度及以上火灾烟雾与火焰图像的识别，尤其对于火焰图像的识别精度更高。下一步将重点针对小尺度火灾烟雾与火焰目标，融合纹理、形状等多维特征开展算法改进和优化研究。在数据集制作上，主要采集相应背景下的小尺度烟雾与火焰火灾图像。

基金

收起

中央高校基本科研业务费专项资金资助(Q2023-051)
中央高校基本科研业务费专项资金资助(J2023-062)
四川省科技厅重点研发计划项目(2022YFG0213)
民机火灾科学与安全工程四川省重点实验室自主资助项目(MZ2022JB03)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

王子辰, 陈晓艳, 王倩, 等. 基于残差自注意力连接的深度电学层析成像方法[J]. 仪器仪表学报, 2023, 44(5):288-301.

WANG

Zichen

, CHEN

Xiaoyan

, WANG

Qian

, et al. Deep electrical tomography imaging method based on residual self-attention connection[J]. Journal of Instrumentation, 2023, 44 (5): 288-301.

[2]

李丹, 王慢慢, 刘俊德, 等. 基于轻量级卷积神经网络的带钢表面缺陷识别[J]. 仪器仪表学报, 2022, 43(3):240-248.

Dan

, WANG

Manman

, LIU

Junde

, et al. Surface defect identification of strip steel based on lightweight convolutional neural networks[J]. Journal of Instrumentation, 2022, 43 (3): 240-248.

[3]

杨其睿. 基于改进的DenseNet深度网络火灾图像识别算法[J]. 计算机应用与软件, 2019, 36(2):258-263.

YANG

Qirui

. Improved densenet deep network fire image recognition algorithm[J]. Computer Application and Software, 2019, 36 (2): 258-263.

[4]

YANG

, PAN

Mengyi

, LI

, et al. Development and optimization of image fire detection on deep learning algorithms[J]. Journal of Thermal Analysis and Calorimetry, 2023, 148(11):5089-5 095.

[5]

VENANCIO

, LISBOA

A C

, BARBOSA

A V

. An automatic fire detection system based on deep convolutional neural networks for low-power, resource-constrained devices[J]. Neural Computing and Applications, 2022, 34(18): 15 349-15 368.

[6]

MAJID

, ALENEZI

, MASOOD

, et al. Attention based CNN model for fire detection and localization in real-world images[J]. Expert Systems with Applications, 2022, 189:DOI: 10.1016/j.eswa.2021.116114.

[7]

KHAN

, HASSAN

, KHAN

, et al. DeepFire: a novel dataset and deep transfer learning benchmark for forest fire detection[J]. Mobile Information Systems, 2022, 2022(6): DOI: 10.1155/2022/5358359.

[8]

DOGAN

, BARUA

P D

, KUTLU

, et al. Automated accurate fire detection system using ensemble pretrained residual network[J]. Expert Systems with Applications, 2022, 203: DOI:10.1016/j.eswa.2022.117407.

[9]

PINCOTT

, TIEN

P W

, WEI

, et al. Indoor fire detection utilizing computer vision-based strategies[J]. Journal of Building Engineering, 2022, 61: DOI: 10.1016/j.jobe.2022.105154.

[10]

MUKHIDDINOV

, ABDUSALOMOV

A B

, CHO

. Automatic fire detection and notification system based on improved yolov4 for the blind and visually impaired[J]. Sensors, 2022, 22(9):DOI: 10.3390/s22093307.

[11]

DILSHAD

, KHAN

, SONG

. Efficient deep learning framework for fire detection in complex surveillance environment[J]. Computer Systems Science and Engineering, 2023, 46(1): 749-764.

[12]

Qing

, CHEN

Xijiang

, ZHANG

Junqian

, et al. A robust fire detection model via convolution neural networks for intelligent robot vision sensing[J]. Sensors, 2022, 22(8): DOI: 10.3390/s22082929.

[13]

AHN

, CHOI

, KIM

B S

. Development of early fire detection model for buildings using computer vision-based CCTV[J]. Journal of Building Engineering, 2023, 65: DOI:10.1016/j.jobe.2022.105647.

[14]

HUANG

Lida

, LIU

Gang

, WANG

Yan

, et al. Fire detection in video surveillances using convolutional neural networks and wavelet transform[J]. Engineering Applications of Artificial Intelligence, 2022, 110:DOI: 10.1016/j.engappai.2022.104737.

[15]

KHAN

Z A

, HUSSAIN

, ULLAH

F U M

, et al. Randomly initialized CNN with densely connected stacked autoencoder for efficient fire detection[J]. Engineering Applications of Artificial Intelligence, 2022, 116: DOI: 10.1016/j.engappai.2022.105403.

[16]

MAHMOUD

H A

, ALHARBI

A H

, ALGHAMDI

N S

. Time-efficient fire detection convolutional neural network coupled with transfer learning[J]. Intelligent Automation & Soft Computing, 2022, 31(3):1393-1402.

[17]

Yuming

, ZHANG

Wei

, LIU

Yanyan

, et al. A visualized fire detection method based on convolutional neural network beyond anchor[J]. Applied Intelligence, 2022, 52(11): 13 280-13 295.

[18]

ZHANG

Rong

, ZHANG

Wei

, LIU

Yanyan

, et al. An efficient deep neural network with color-weighted loss for fire detection[J]. Multimedia Tools and Applications, 2022, 81(27): 39 695-39 713.

[19]

赵超, 陈肇泉, 王斌, 等. 基于互信息和IGSA优化ELM的重整芳烃收率软测量[J]. 仪器仪表学报, 2019, 40(3):255-263.

ZHAO

Chao

, CHEN

Zhaoquan

, WANG

Bin

, et al. Soft sensing of reforming aromatics yield based on mutual information and IGSA optimized ELM[J]. Journal of Instrumentation, 2019, 40(3): 255-263.

[20]

夏鹏飞, 尹慧琳, 何艳侠. 基于最大互信息的激光雷达与相机的配准[J]. 仪器仪表学报, 2018, 39(1):34-41.

XIA

Pengfei

, YIN

Huilin

, HE

Yanxia

. Registration of lidar and camera based on maximum mutual information[J]. Journal of Instrumentation, 2018, 39(1): 34-41.

2024年第34卷第9期

PDF下载

357

147

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.09.2063

接收时间：2024-03-11
首发时间：2025-07-09
出版时间：2024-09-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-03-11
修回日期：2024-06-14

基金

中央高校基本科研业务费专项资金资助(Q2023-051)

中央高校基本科研业务费专项资金资助(J2023-062)

四川省科技厅重点研发计划项目(2022YFG0213)

民机火灾科学与安全工程四川省重点实验室自主资助项目(MZ2022JB03)

作者信息

¹ 中国民用航空飞行学院民航安全工程学院，四川德阳 618307

² 中国刑事警察学院公安信息技术与情报学院，辽宁沈阳 110036

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.09.2063

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

网络层	神经元个数	参数量
Dense_1 (输入层)	9	1 600
Batch_Normalization_1 (批标准化层)	9	18
Dropout_1 (正则化层)	9	0
Dense_2 (隐藏层)	160	1 600
Batch_Normalization_2 (批标准化层)	160	320
Dropout_2 (正则化层)	160	0
输出层	2	322

网络层

神经元
个数

参数
量

Dense_1 (输入层)

1 600

Batch_Normalization_1 (批标准化层)

Dropout_1 (正则化层)

Dense_2 (隐藏层)

160

1 600

Batch_Normalization_2 (批标准化层)

160

320

Dropout_2 (正则化层)

160

输出层

322

火灾图像	常规图像
①红色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	①红色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
②绿色背景火灾场景：晴天自然光+阴天自然光+暗箱无光	②绿色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
③蓝色背景火灾场景：晴天自然光+阴天自然光暗+箱无光	③蓝色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光
④森林火灾图像库	④随机拍摄其他背景非火灾场景

火灾图像

常规图像

①红色背景火灾场景：晴天自然光+阴天自然光+暗箱无光

①红色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光

②绿色背景火灾场景：晴天自然光+阴天自然光+暗箱无光

②绿色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光

③蓝色背景火灾场景：晴天自然光+阴天自然光暗+箱无光

③蓝色背景非火灾场景：晴天自然光+阴天自然光+暗箱无光

④森林火灾图像库

④随机拍摄其他背景非火灾场景

排序	序号	字段
①	X₂₂	RGB模式下绿色通道颜色特征值
②	X₃₂	HSV模式下饱和度通道颜色特征值
③	X₂₃	RGB模式下蓝色通道颜色特征值
④	X₂₁	RGB模式下红色通道特征值
⑤	X₃₁	HSV模式下色调通道特征值
⑥	X₁₂	Lab模式b通道颜色特征值
⑦	X₂₄	RGB模式下三通道颜色特征方差
⑧	X₃₄	HSV模式下三通道颜色特征方差
⑨	X₁₁	Lab模式下a通道颜色特征值

排序

序号

字段

①

X₂₂

RGB模式下绿色通道颜色特征值

②

X₃₂

HSV模式下饱和度通道颜色特征值

③

X₂₃

RGB模式下蓝色通道颜色特征值

④

X₂₁

RGB模式下红色通道特征值

⑤

X₃₁

HSV模式下色调通道特征值

⑥

X₁₂

Lab模式b通道颜色特征值

⑦

X₂₄

RGB模式下三通道颜色特征方差

⑧

X₃₄

HSV模式下三通道颜色特征方差

⑨

X₁₁

Lab模式下a通道颜色特征值

决策树类型	最大分裂数	分裂准则
粗略决策树	4	基尼多样性指数
中等决策树	20
精细决策树	100

决策树类型

最大分裂数

分裂准则

粗略决策树

基尼多样性指数

中等决策树

精细决策树

100

SVM类型	核函数	核尺度
线性SVM	线性	自动
二次SVM	二次	自动
三次SVM	三次	自动
高斯SVM	高斯函数	13

SVM类型

核函数

核尺度

线性SVM

线性

自动

二次SVM

二次

自动

三次SVM

三次

自动

高斯SVM

高斯函数

类型	全连接大小	隐藏层尺寸	备注
双层	2	10，10	激活函数ReLU 迭代次数1000
三层	3	10，10，10

类型

全连接大小

隐藏层尺寸

备注

双层

10，10

激活函数ReLU
迭代次数1000

三层

10，10，10

方法	精度/%	相关系数
决策树类	粗略决策树	82.40	0.768 2
中等决策树	85.00	0.792 5
精细决策树	87.30	0.813 9
支持向量机类	线性SVM	79.70	0.743 1
二次SVM	88.50	0.825 1
三次SVM	87.40	0.814 8
高斯SVM	81.30	0.758 0
神经网络类	双层神经网络	92.80	0.865 2
三层神经网络	92.30	0.860 5
本文方法	160-S-FCN	93.82	0.874 7

方法

精度/%