中国安全科学学报

水电工程施工安全隐患图文多模态智能识别方法

PDF下载

聂本武高级工程师 ¹^,²^,³ , 陈述教授 ^**^,¹^,³ , 陈云副教授 ¹^,³ , 田雪琪 ² , 曹坤煜 ¹ , 李智正高级工程师 ⁴

中国安全科学学报 | 安全技术与工程 2026,36(3): 104-112

收起

中国安全科学学报 |安全技术与工程 2026 , 36 (3) : 104 -112

水电工程施工安全隐患图文多模态智能识别方法

全屏

聂本武高级工程师¹^,²^,³, 陈述教授^**^,¹^,³, 陈云副教授¹^,³, 田雪琪², 曹坤煜¹, 李智正高级工程师⁴

作者信息

¹三峡大学水电工程施工与管理湖北省重点实验室，湖北宜昌 443002

²国家能源投资集团有限责任公司金沙江分公司，四川成都 610041

³三峡大学水利与环境学院，湖北宜昌 443002

⁴中国长江三峡集团有限公司，湖北武汉 430000

通讯作者:

^** 陈述（1986—），男，湖北英山人，博士，教授，主要从事水电工程施工安全管理方面的研究。E-mail:chenshu@ctgu.edu.cn。

作者简介:

聂本武（1987—），男，湖北孝感人，博士研究生，高级工程师，主要研究方向为水电工程智能建造。E-mail: nbwpdp@sina.com。

An image-text multimodal intelligent identification method for construction safety hazards in hydropower engineering

Benwu NIE¹^,²^,³, Shu CHEN^**^,¹^,³, Yun CHEN¹^,³, Xueqi TIAN², Kunyu CAO¹, Zhi LI⁴

Affiliations

¹Hubei Key Laboratory of Construction and Management in Hydropower Engineering, China Three Gorges University, Yichang Hubei 443002, China

²Jinshajiang Branch, China Energy Investment Corporation, Chengdu Sichuan 610041, China

³College of Hydraulic & Environmental Engineering, China Three Gorges University, Yichang Hubei 443002, China

⁴China Three Gorges Corporation, Wuhan Hubei 430000, China

出版时间: 2026-03-28 doi: 10.16265/j.cnki.issn1003-3033.2026.03.0881

文章导航

摘要

收起

为解决水电工程施工安全隐患识别存在单模态特征表达不完整、图文特征融合效率低等问题，提出水电工程施工安全隐患图文多模态智能识别方法。首先，针对水电工程施工特点，定义12种施工安全隐患分类特征，建立水电工程施工安全隐患图文多模态数据集；其次，利用双向变换器模型（BERT）和视觉变换器（ViT）模型分别提取隐患文本与图像特征，引入门控融合网络（GFN），动态调节图文特征贡献度，捕捉多模态关联特征信息，通过多层感知器提高对多模态分类识别精度；最后，通过对比试验，检验模型识别的准确性与可靠性。结果表明：该方法通过增强识别稳定性，实现对多模态隐患特征的优化贡献，多模态隐患识别准确率高达84.99%，较文本模型提升1.73%，较图像模型提升12.24%，隐患识别分类优于已有基准模型，有助于提升安全隐患智能识别的鲁棒性。

关键词

水电工程 / 施工安全隐患 / 多模态 / 门控融合网络（GFN） / 智能识别

Abstract

收起

To address the problems of incomplete unimodal feature representation and low image-text fusion efficiency in construction safety hazard identification for hydropower projects, an intelligent image-text multimodal intelligent identification method was proposed. First, 12 categories of construction safety hazards were defined according to hydropower construction characteristics, and an image-text multimodal dataset was established. Second, bidirectional encoder representations from transformers (BERT) model and vision transformer (ViT) model were employed to extract hazard text and image features respectively. GFN was then introduced to dynamically adjust the contribution of image and text features and capture cross-modal correlated feature information, while a multi-layer perceptron was used to improve classification accuracy. Comparative experiments were conducted to verify the model's accuracy and reliability. The results show the method optimizes the contribution of multimodal features by enhancing identification stability. The multimodal hazard identification accuracy reaches 84.99%, representing an improvement of 1.73% over the text-based model and 12.24% over the image-based model.. The proposed approach outperforms existing benchmark models in hazard classification and improves the robustness of intelligent hazard identification.

Key words

hydropower project / construction safety hazard / multimodal / gated fusion network (GFN) / intelligent identification

引用本文

聂本武高级工程师, 陈述教授, 陈云副教授, 田雪琪, 曹坤煜, 李智正高级工程师. 水电工程施工安全隐患图文多模态智能识别方法. 中国安全科学学报, 2026 , 36 (3) : 104 -112 . DOI: 10.16265/j.cnki.issn1003-3033.2026.03.0881

Benwu NIE, Shu CHEN, Yun CHEN, Xueqi TIAN, Kunyu CAO, Zhi LI. An image-text multimodal intelligent identification method for construction safety hazards in hydropower engineering[J]. China Safety Science Journal, 2026 , 36 (3) : 104 -112 . DOI: 10.16265/j.cnki.issn1003-3033.2026.03.0881

基金

收起

国家自然科学基金资助(52479127; 52209163)
湖北省自然科学基金青年A类项目资助(2025AFA074)
湖北省自然科学基金创新发展联合基金资助(2024AFD153)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

2026年第36卷第3期

PDF下载

106

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2026.03.0881

接收时间：2025-09-14
首发时间：2026-07-08
出版时间：2026-03-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-09-14
修回日期：2025-12-11

基金

国家自然科学基金资助(52479127; 52209163)

湖北省自然科学基金青年A类项目资助(2025AFA074)

湖北省自然科学基金创新发展联合基金资助(2024AFD153)

作者信息

¹三峡大学水电工程施工与管理湖北省重点实验室，湖北宜昌 443002

²国家能源投资集团有限责任公司金沙江分公司，四川成都 610041

³三峡大学水利与环境学院，湖北宜昌 443002

⁴中国长江三峡集团有限公司，湖北武汉 430000

通讯作者:

^** 陈述（1986—），男，湖北英山人，博士，教授，主要从事水电工程施工安全管理方面的研究。E-mail:chenshu@ctgu.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2026.03.0881

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT