中国安全科学学报

类别	数据量/幅	具体描述
火焰	682	正常火焰
烟雾	650	正常烟雾
疑似火焰	469	疑似火焰(灯光、日出、日落等)
疑似烟雾	489	疑似烟雾(云、水雾、沙尘等)

类别	数据量/幅	具体描述
火焰	682	正常火焰
烟雾	650	正常烟雾
疑似火焰	469	疑似火焰(灯光、日出、日落等)
疑似烟雾	489	疑似烟雾(云、水雾、沙尘等)

类别	YOLO-V5	改进后的YOLO-V5
所有	77.3	67.7	71.5	16.5	79.2	68.6	74.2	12.8
火焰	78.0	62.9	68.6	81.6	66.1	74.7
烟雾	76.3	72.5	74.4	76.7	71.1	73.6

类别	YOLO-V5	改进后的YOLO-V5
所有	77.3	67.7	71.5	16.5	79.2	68.6	74.2	12.8
火焰	78.0	62.9	68.6	81.6	66.1	74.7
烟雾	76.3	72.5	74.4	76.7	71.1	73.6

算法	mAP
Faster R-CNN	58.3	72.7	65.5
SSD	53.9	72.9	63.4
YOLO-V3	65.4	73.7	69.6
YOLO-V5	68.6	74.4	71.5
改进后的YOLO-V5	74.7	73.6	74.2

算法	mAP
Faster R-CNN	58.3	72.7	65.5
SSD	53.9	72.9	63.4
YOLO-V3	65.4	73.7	69.6
YOLO-V5	68.6	74.4	71.5
改进后的YOLO-V5	74.7	73.6	74.2

基于改进YOLO-V5算法的烟火检测方法

PDF下载

张明振 ¹ , 段江忠 ¹ , 梁肇伟 ² , 郭俊杰 ¹ , 柴大山 ³

中国安全科学学报 | 安全工程技术 2024,34(5): 155-161

收起

中国安全科学学报 | 安全工程技术 2024, 34(5): 155-161

基于改进YOLO-V5算法的烟火检测方法

全屏

张明振¹, 段江忠¹, 梁肇伟², 郭俊杰¹, 柴大山³

作者信息

1 深圳市城市公共安全技术研究院有限公司，广东深圳 518038

2 深圳技术大学大数据与互联网学院，广东深圳 518118

3 中国铁塔股份有限公司深圳市分公司，广东深圳 518000

张明振 (1992—)，男，河南濮阳人，硕士，工程师，主要从事城市公共安全、防灾减灾与应急管理等方面的研究。E-mail：zhangmz2025@163.com。

段江忠高级工程师

Firework detection method based on improved YOLO-V5 algorithm

Mingzhen ZHANG¹, Jiangzhong DUAN¹, Zhaowei LIANG², Junjie GUO¹, Dashan CHAI³

Affiliations

1 Shenzhen Urban Public Safety and Technology Institute，Shenzhen Guangdong 518038，China

2 School of Big Data and Internet，Shenzhen Technology University，Shenzhen Guangdong 518118，China

3 Shenzhen Branch of China Tower，Shenzhen Guangdong 518000，China

出版时间: 2024-05-28 doi: 10.16265/j.cnki.issn1003-3033.2024.05.1050

文章导航

摘要

收起

为减少自然环境中云、水雾、沙尘、灯光、日出、日落等干扰因素对烟雾、火焰目标检测准确性的影响，提出一种基于改进YOLO-V5算法的烟火检测算法。采用现场采集和网络爬取的方法获取烟雾、火焰目标图像和干扰类图像数据集，均衡学习训练样本，提高模型泛化能力；使用加权双向特征金字塔网络(BiFPN)替换原有的特征金字塔网络(FPN)+路径聚合网络(PAN)结构，对目标进行多尺度特征融合，加强模型特征融合能力；同时，运用距离交并比(DIoU)非极大值抑制(NMS)替代原有的NMS，加快检测框损失函数收敛速度，加强模型推理能力。结果表明：改进后的算法准确率为79.2%，召回率为68.6%，平均精度均值(mAP)为74.2%，误报率(FPR)为12.8%；相比于原YOLO-V5算法，改进后的算法准确率、召回率、mAP分别提高1.9%、0.9%、2.7%，检测识别FPR降低3.7%。

关键词

YOLO-V5算法 / 烟雾 / 火焰 / 目标检测 / 误报率(FPR)

Abstract

收起

To reduce the influences of background interference factors in natural environments such as clouds，mist，dust，lights，sunrise，and sunset on the smoke and flame target detection accuracy，a smoke and fire detection algorithm based on an improved YOLO-V5 algorithm was proposed. Smoke，flame target images，and interference image data sets were obtained from the on-site collection and web crawling approaches to solve sample imbalance and improve model generalization ability. A bidirectional feature pyramid network (BiFPN) was used to replace the original feature pyramid network (FPN) + path aggregation network (PAN) structure，and then multi-scale feature fusion on the target was performed to strengthen the model feature fusion ability. At the same time，distance intersection-over-union(DIoU) non-maximum suppression(NMS) is used to replace the original non-maximum suppression (NMS) to speed up the convergence of the detection box loss function and enhance the model reasoning ability. The results showed that the improved algorithm's accuracy，recall rate，mean average precision(mAP) and FPR were 79.2%，68.6%，74.2%，and 12.8%，respectively. Compared with the original YOLO-V5 algorithm，the proposed algorithm improved accuracy rate，recall rate，and mAP by 1.9%，0.9%，and 2.7%，respectively. Furthermore，the FPR was decreased by 3.7%.

Key words

YOLO-V5 algorithm / smoke / fire / target detection / false positive rate(FPR)

引用本文

张明振, 段江忠, 梁肇伟, 郭俊杰, 柴大山. 基于改进YOLO-V5算法的烟火检测方法. 中国安全科学学报, 2024 , 34 (5) : 155 -161 . DOI: 10.16265/j.cnki.issn1003-3033.2024.05.1050

Mingzhen ZHANG, Jiangzhong DUAN, Zhaowei LIANG, Junjie GUO, Dashan CHAI. Firework detection method based on improved YOLO-V5 algorithm[J]. China Safety Science Journal(CSSJ), 2024 , 34 (5) : 155 -161 . DOI: 10.16265/j.cnki.issn1003-3033.2024.05.1050

正文

收起

0 引言

收起

森林燃烧一般经过预热、热分解、燃烧、熄灭等阶段，伴随产生大量烟气和明亮的火焰，可能对生态环境造成不可逆的灾难性影响。通过视频监控技术实时监测火情，及时准确检测到燃烧产生的烟气、火焰等目标，可为指挥机构提供准确的时间、地点、灾情等图像信息，实现早识别、早预警、早发现、早处置。

传统的图像识别与处理方法主要利用火焰及烟雾的颜色、轮廓等物理特征。KIM等^[1]建立了一种基于传统图像处理方法的红绿蓝颜色模型，利用火焰的颜色信息识别火焰目标。Muhammad等^[2]提出基于GoogleNet架构的高效卷积神经网络模型，提高火焰检测的准确性；Frizzi等^[3]通过卷积神经网络自动提取和分类火灾区域特征，对火灾区域检测实现更好的分类性能；XU Renjie等^[4]提出了集成学习方法检测森林火焰，采用集成模型综合得分判识火焰，使整个模型对于不同的森林火灾场景更加稳健；李欣健等^[5]使用深度可分离卷积设计轻量化火焰检测方法，实现对火焰检测速度与精度的提高；刘凯等^[6]基于支持向量机算法，利用监测系统全天候自动检测森林火灾。而高精度性与高效率性的深度学习技术，在目标检测领域迅速发展，不仅可用于监测森林火险^[6-7]，而且被广泛应用于安全帽佩戴^[8]、室内吸烟行为^[9]、加油站不安全行为^[10]等对象的监测。传统的火焰检测方法在一定程度上提高了火焰的检测效果，但在实际复杂的应用场景中仍存在着检测速度慢、疑似烟雾或火焰物体误检率较高、泛化能力不足的问题。

鉴于此，笔者拟综合考虑森林火灾监测预警要素，提出一种改进的YOLO-V5算法的烟火识别检测方法，提高对烟火目标的识别检测精度，以期为森林火灾监测预警提供参考。

1 改进YOLO-V5的烟火检测方法

收起

1.1 YOLO-V5网络结构

YOLO-V5s算法是一种模型尺寸较小、推理速度较快的网络检测算法。为进一步提高烟火识别检测效果，提出一种基于改进YOLO-V5s算法的烟火检测方法，主要是在目标检测中间层，将特征金字塔网络(Feature Pyramid Network，FPN)+路径聚合网络(Path Aggregation Network，PAN)结构改为加权双向FPN(Bi-directional FPN，BiFPN)，并使用距离交并比(Distance Intersection over Union，DIoU)-非极大值抑制(Non-Maximum Suppression，NMS)替换NMS。改进前后的YOLO-V5s网络结构如图1所示。

1.2 改进Neck的特征融合网络BiFPN

原YOLO-V5的Neck特征融合网络为FPN + PAN，其结构如图2a所示。该结构能双向跨尺度融合连接尺寸不同的特征，高层的强语义特征自顶向下传递到底层，同时，底层的强定位特征自底向上也传递到高层，使形成的特征金字塔具有语义信息和定位信息，有效融合不同特征。

FPN+PAN特征融合网络能够跨越多个尺度融合不同层级的特征，但在融合过程中采用一种较为简单的方法直接将不同的特征归纳相加，为这些特征赋予相同的权重，可能导致某些关键特征未能得到强调。由于检测目标在不同图像中的尺寸大小不一，所以对于目标特征在不同图像中所对应的注意力权重也应不同。在烟雾和火焰识别中，所检测的目标尺寸大小不一，若使用原YOLO-V5的FPN+PAN特征融合网络，则会导致模型训练的效果不好，影响模型检测与识别目标的能力。为解决该问题，将改进YOLO-V5原有的FPN+PAN网络为BiFPN，其结构如图3b所示。BiFPN相较于FPN+PAN，在不增加更多资源花销的情况下融合更多的特征。对于不同尺寸的输入特征，通常对输出特征的贡献一般是不同的，在处理时将每个输入特征增加一个权重，让网络学习每个输入特征的权重。

1.3 NMS替换为DIoU-NMS

NMS是通过某个检测框与预测得分最高的检测框的交并比(Intersection over Union，IoU)来筛选衡量目标检测任务中预测框与真实框之间的重叠程度，当IoU大于所设定的阈值时，该预测的检测框将会被移除。在目标检测中，一般会输出多个预测候选框，多余的候选框会影响检测精度，因此，使用NMS可过滤掉多余候选框，以选择最佳的预测框输出。但NMS仅考虑到预测框与真实框的IoU，当2个目标物体存在一定程度的遮挡时，二者的检测框过于靠近，重叠面积较大，导致被NMS错误地过滤掉，发生错误抑制的情况。DIoU-NMS不仅考虑IoU的值，还考虑预测框和真实框2个框中心点和对角线之间的距离，当该距离太远时，则认为是在不同目标对象上且不移除，使目标预测框的回归更加稳定，可在一定程度上减少当2个目标物体过于靠近时，另一个目标的预测框被移除的可能性。DIoU-NMS的公式如下：

(1)

S i = S i ， I o U - R D I o U (M ， B i) ＜ ε 0 ， I o U - R D I o U (M ， B i) ≥ ε

式中：S_i为分类分数；R_DIoU为2个框中心点之间的距离；M为预测分数最高的一个预测框；B_i为某个预测框；ε为DIoU-NMS的阈值。其中R_DIoU的计算如下：

(2)

R D I o U = ρ 2 (b ， b g t) / c 2

式中：ρ²(b， b^gt)为预测框和真实框的中心点的欧氏距离；b为预测框的中心点；b^gt为真实框的中心点；c为预测框和真实框2个框的最小包围框的最短对角线长度。

2 烟火检测试验与分析

收起

2.1 烟火检测数据集及预处理

试验所使用的数据集来自现场采集的图像以及网络爬取到的图像，共获取图像2 097幅。其中，包含烟雾或火焰的图像1 139幅，疑似烟雾或火焰的干扰类图像958幅。为方便后续标注及扩充数据集，统一数据集中各类别命名规范，数据集分为4类，分别为烟雾、火焰、疑似烟雾和疑似火焰，数据量分类统计信息见表1(其中，部分图像既包含烟雾对象，又包含火焰对象)。正常烟雾或火焰的图像如图3所示，疑似烟雾或火焰的图像如图4所示(包含云、水雾、沙尘等疑似烟雾，以及灯光、日出、日落等疑似火焰)。

利用标注工具标注数据集中每幅图像，对于烟雾、火焰图像，分别标注烟雾和火焰2个类别，保存为voc格式。对于疑似烟雾、火焰图像，则将其保存为YOLO格式的空标签。将数据集图像按照8∶2比例划分，最终训练集1 678幅，测试集419幅。其中，测试集包含烟雾图像100幅，火焰图像119幅，疑似烟雾图像100幅，疑似火焰图像100幅。

2.2 试验环境、参数配置及流程

试验基于开源的Pytorch深度学习框架，试验环境为Python3.9，试验具体参数设置为：批处理大小为16，初始学习率为0.01，动量参数为0.937，权重衰减系数为0.000 5，训练迭代次数为100。试验整体流程如图5所示。

2.3 试验评价指标

试验采用精确率P、召回率R、平均精度均值(mean Average Precision，mAP)、误报率(False Positive Rate，FPR)作为评价模型性能的指标，其中，mAP、FPR为主要评价指标。计算如下：

(3)

P = T P / (T P + F P)

(4)

R = T P / (T P + F N)

(5)

F P R = F P / (F P + T N)

式中：TP为检测正确的正类样本数；FP为被误检测为正类样本的负类样本数；FN为被误检测为负类样本的正类样本数；TN为检测正确的负类样本数。

以R为横坐标，P为纵坐标，在不同阈值下得到P-R曲线。P-R曲线与坐标轴所围成的面积为平均精度(Average Precision，AP)。单类别和多类别AP的计算见下式：

(6)

A P = ∫ 01 P (r) d r

(7)

m A P = ∑ i = 1 k A P / k

2.4 结果分析

使用改进后的YOLO-V5算法进行模型训练，并与原始的YOLO-V5算法对比，分别得到P曲线、R曲线、mAP曲线(图6)，以及试验数据对比(表2)。

由图6和表2得出，经过100次迭代，改进后YOLO-V5算法的P为79.2%，R为68.6%，mAP为74.2%，FPR为12.8%，相比于原YOLO-V5算法，P和R相差不大的情况下，mAP提高2.7%，FPR降低3.7%。这证明：改进后的YOLO-V5算法对烟火目标的检测精度有一定提升效果，且误报问题得到进一步改善。

使用测试集检测改进后YOLO-V5算法，得到具体检测结果以及部分误报情况，并与原YOLO-V5算法所得到的检测结果对比，如图7所示。

图7a—图7f分别为原YOLO-V5算法和改进后的YOLO-V5算法对烟雾、火焰目标的检测结果，由此对比可看出，改进后的方法对烟雾、火焰目标的检测置信度和识别的精准度较高，且对目标的误报与漏报情况减少。图7g—图7i为使用该方法检测烟火目标所存在的少部分误报情况，这些情况主要由于疑似烟雾、火焰图像颜色、形状与真实烟雾、火焰非常相似，改进后的YOLO-V5算法对减少烟雾、火焰的误报有较好的效果。

2.5 烟火检测算法对比试验测试

与基于区域的快速卷积神经网络(Faster Region-based Convolutional Neural Networks， Faster R-CNN)、单次多框检测器(Single Shot MultiBox Detector，SSD)、YOLO-V3及YOLO-V5算法在相同的数据集上作试验比较分析，结果见表3。由表3可看出，相较于其他算法，文中算法对于烟雾目标的检测精度较低，且与其他算法相差不大；文中算法对火焰目标的检测精度为最高，且整体检测精度较其他算法均有提升。

3 结论

收起

1) 森林火灾监测预警中关于烟火目标检测容易引起误报的因素主要包括云、水雾、沙尘、日出、日落、车灯、路灯、城市夜灯等场景。

2) 采用现场采集和网络爬取各类烟雾、火焰的干扰类图像，作为数据集，以YOLO-V5为基础并结合BiFPN结构与DIoU-NMS模块的改进算法，在自构建烟火数据集上得到的模型评价指标精准率P为79.2%，召回率R为68.6%，mAP为74.2%。

3) 改进后的算法在自构建烟火数据集上有更好的表现，在精准率P和召回率R相差不大的情况下，mAP为74.2%，提高2.7%，FPR为12.8%，降低3.7%。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

KIM

Y H

, KIM

, JEONG

H Y

. RGB color model based the fire detection algorithm in video sequences on wireless sensor network[J]. International Journal of Distributed Sensor Networks, 2014, 10(4): DOI:10.1155/2014/923609.

[2]

MUHAMMAD

, AHMAD

, MEHMOOD

, et al. Convolutional neural networks based fire detection in surveillance videos[J]. IEEE Access, 2018, 6: 18 174-18 183.

[3]

FRIZZI

, KAABI

, BOUCHOUICHA

, et al. Convolutional neural network for video fire and smoke detection[C]. IECON 2016-42^nd Annual Conference of the IEEE Industrial Electronics Society. IEEE, 2016: 877-882.

[4]

Renjie

, LIN

Haifeng

, LU

Kangjie

, et al. A forest fire detection system based on ensemble learning[J]. Forests, 2021, 12(2): DOI:10.3390/f12020217.

[5]

李欣健, 张大胜, 孙利雷, 等. 复杂场景下基于 CNN 的轻量火焰检测方法[J]. 模式识别与人工智能, 2021, 34(5) : 415-422.

Xinjian

, ZHANG

Dasheng

, SUN

Lilei

, et al. CNN-based lightweight flame detection method in complex scenes[J]. Pattern Recognition and Artificial Intelligence, 2021, 34(5) : 415-422.

[6]

刘凯, 魏艳秀, 许京港, 等. 基于计算机视觉的森林火灾识别算法设计[J]. 森林工程, 2018, 34(4):89-95.

LIU

Kai

, WEI

Yanxiu

, XU

Jinggang

, et al. Design of forest fire identification algorithm based on computer vision[J]. Forest Engineering, 2018, 34(4): 89-95.

[7]

朱馨, 李建微, 郭伟, 等. 基于机器学习的森林火险预测模型[J]. 中国安全科学学报, 2022, 32(9): 152-157.

ZHU

Xin

, LI

Jianwei

, GUO

Wei

, et al. Forest fire prediction model based on machine learning[J]. China Safety Science Journal, 2022, 32 (9): 152-157.

[8]

林俊, 党伟超, 潘理虎, 等. 基于 YOLO 的安全帽检测方法[J]. 计算机系统应用, 2019, 28(9) : 174-179.

LIN

Jun

, DANG

Weichao

, PAN

Lihu

, et al. Safety helmet detection based on YOLO[J]. Computer Systems & Applications, 2019, 28(9) : 174-179.

[9]

ZHAO

Rentao

, WANG

Mengyi

, ZHAI

Zilong

, et al. Indoor smoking behavior detection based on YOLO-V3-tiny[C]. 2019 Chinese Automation Congress, 2019: 3 477-3 481.

[10]

常捷, 张国维, 陈文江, 等. 基于YOLO-V3算法的加油站不安全行为检测[J]. 中国安全科学学报, 2023, 33(2): 31-37.

CHANG

Jie

, ZHANG

Guowei

, CHEN

Wenjiang

, et al. Gas station unsafe behavior detection based on YOLO-V3 algorithm[J]. China Safety Science Journal, 2023, 33 (2): 31-37.

2024年第34卷第5期

PDF下载

266

101

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.05.1050

接收时间：2023-11-25
首发时间：2025-07-14
出版时间：2024-05-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-11-25
修回日期：2024-02-26

基金

作者信息

1 深圳市城市公共安全技术研究院有限公司，广东深圳 518038

2 深圳技术大学大数据与互联网学院，广东深圳 518118

3 中国铁塔股份有限公司深圳市分公司，广东深圳 518000

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.05.1050

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT