中国安全科学学报

地区	灾害	发生时间	降雨量情况	受灾人数	生命损失	直接经济损失
华北	河北暴雨	7月27日—8月2日	多地超过300 mm，最大累计降雨量为1 009 mm	388.86万人	因灾死亡29人、失联16人	958.11亿元
北京暴雨	7月29日—8月2日	平均降雨量331 mm	77.76万人	因灾死亡33人、失联18人	159.86亿元
天津暴雨	7月29日—8月1日	平均降雨量108.5 mm	8万余人	—	—
东北	黑龙江暴雨	8月2日—5日	多地降雨量超250 mm， 25条河流超警戒水位	超过37万人	—	—
辽宁暴雨	8月4日	平均降雨量152.5 mm	1 469人	—	383.72万元
吉林暴雨	8月1—6日	平均降水量117.7 mm	超过4万人	因灾死亡 14人，失联1人	—

地区	灾害	发生时间	降雨量情况	受灾人数	生命损失	直接经济损失
华北	河北暴雨	7月27日—8月2日	多地超过300 mm，最大累计降雨量为1 009 mm	388.86万人	因灾死亡29人、失联16人	958.11亿元
北京暴雨	7月29日—8月2日	平均降雨量331 mm	77.76万人	因灾死亡33人、失联18人	159.86亿元
天津暴雨	7月29日—8月1日	平均降雨量108.5 mm	8万余人	—	—
东北	黑龙江暴雨	8月2日—5日	多地降雨量超250 mm， 25条河流超警戒水位	超过37万人	—	—
辽宁暴雨	8月4日	平均降雨量152.5 mm	1 469人	—	383.72万元
吉林暴雨	8月1—6日	平均降水量117.7 mm	超过4万人	因灾死亡 14人，失联1人	—

序号	多模态信息	人工标注	模型分类
1	文本：种大米的家庭却一粒米都没有了… 图像：悲伤哭泣音频：(哭泣声)年迈的父母不刷抖音，才敢在这哭一下…	消极	消极/0.16
2	文本：捐赠物资满满的感动… 图像：面带微笑、大拇指音频：(雨声)…抗灾…良心…加油…	积极	积极/0.81
3	文本：好心人多关注霸州… 图像：房屋被淹音频：…泪目…希望更多力量加入…帮帮忙…	中性	中性/0.45

序号	多模态信息	人工标注	模型分类
1	文本：种大米的家庭却一粒米都没有了… 图像：悲伤哭泣音频：(哭泣声)年迈的父母不刷抖音，才敢在这哭一下…	消极	消极/0.16
2	文本：捐赠物资满满的感动… 图像：面带微笑、大拇指音频：(雨声)…抗灾…良心…加油…	积极	积极/0.81
3	文本：好心人多关注霸州… 图像：房屋被淹音频：…泪目…希望更多力量加入…帮帮忙…	中性	中性/0.45

情感倾向	河北暴雨	黑龙江暴雨
消极情感	572	25.30	738	38.72
中性情感	928	41.04	833	43.70
积极情感	761	33.66	335	17.58
合计	2 261	100	1 906	100

情感倾向	河北暴雨	黑龙江暴雨
消极情感	572	25.30	738	38.72
中性情感	928	41.04	833	43.70
积极情感	761	33.66	335	17.58
合计	2 261	100	1 906	100

基于暴雨灾害短视频的多模态情感特征研究

PDF下载

晋良海 ¹^,²^,³ , 王抒情 ¹^,² , 王昕煜 ¹^,²

中国安全科学学报 | 防灾减灾技术与工程 2024,34(7): 219-228

收起

中国安全科学学报 | 防灾减灾技术与工程 2024, 34(7): 219-228

基于暴雨灾害短视频的多模态情感特征研究

全屏

晋良海¹^,²^,³, 王抒情¹^,², 王昕煜¹^,²

作者信息

¹ 三峡大学水电工程施工与管理湖北省重点实验室，湖北宜昌 443002

² 三峡大学水利与环境学院，湖北宜昌 443002

³ 三峡大学安全生产标准化评审中心，湖北宜昌 443002

晋良海 (1973—)，男，四川简阳人，博士，教授，博士生导师，主要从事安全工效学、建设项目运筹管理等方面的研究。E-mail：jinlianghai@ctgu.edu.cn。

Research on multimodal emotion characteristics based on short video of rainstorm disaster

Lianghai JIN¹^,²^,³, Shuqing WANG¹^,², Xinyu WANG¹^,²

Affiliations

¹ Hubei Provincial Key Laboratory of Construction and Management of Hydropower Engineering，China Three Gorges University，Yichang Hubei 443002，China

² College of Hydraulic & Environmental Engineering，China Three Gorges University，Yichang Hubei 443002，China

³ Safety Production Standardization Evaluation Center，China Three Gorges University，Yichang Hubei 443002，China

出版时间: 2024-07-28 doi: 10.16265/j.cnki.issn1003-3033.2024.07.0133

文章导航

摘要

收起

为提高灾害应对效率，将“河北暴雨”“黑龙江暴雨”作为典型跨区域研究案例，收集短视频的文本-图像-音频多模态数据；面对海量的非结构化数据，运用深度学习技术，构建多模态情感智能分类模型，实现短视频情感特征的提取、跨模态融合与智能情感分类；并综合利用时空大数据，在时空维度上深度挖掘与分析暴雨灾害短视频多模态情感特征。结果表明：该模型准确率达85%以上，能有效实现短视频多模态情感智能分类任务。在时间维度上，网民情感波动与暴雨灾害周期大致相符，可作为判断灾情严重程度和舆情走向的依据；媒体及政府的干预对暴雨灾害情感演化具有重要作用。在空间维度上，消极情感随灾情转移呈现“低—高—低”变化趋势，且消极情感的共鸣和扩散效应呈现明显的地域性特征，需重视灾区、我国部分东部地区及类似灾害频发的非灾区舆情引导工作。

关键词

暴雨灾害 / 短视频 / 多模态情感特征 / 深度学习 / 情感分类

Abstract

收起

To improve the efficiency of disaster response，the "Hebei rainstorm" and "Heilongjiang rainstorm" were adopted as illustrative cross-regional research cases，and text-image-audio multimodal data were collected from short videos. In the face of massive unstructured data，deep learning technology was employed to realize the extraction of multimodal emotional features，cross-modal integration and intelligent sentiment classification in short videos. By comprehensively using spatial and temporal big data，the multimodal emotional characteristics of short video of rainstorm disaster were deeply mined and analyzed in the spatial and temporal dimension. The results indicate that the model's accuracy exceeds 85%，efficiently fulfilling the objectives set for short video analysis. From the temporal perspective，the emotional fluctuations of netizens broadly align with the cycle of rainstorm disasters，providing a basis for assessing disaster severity and public opinion trends. Furthermore，the intervention of media and government entities plays a significant role in shaping the emotional evolution surrounding rainstorm disasters. In terms of spatial dimensions，negative emotions exhibit a "low-high-low" trend as disasters shift locations，and the resonance and diffusion of these emotions display distinct regional characteristics. Therefore，it is imperative to prioritize public opinion guidance in disaster-stricken areas，as well as in some eastern regions of China and non-disaster areas experiencing similar phenomena.

Key words

rainstorm disaster / short video / multimodal emotion characteristics / deep learning / emotional classification

引用本文

晋良海, 王抒情, 王昕煜. 基于暴雨灾害短视频的多模态情感特征研究. 中国安全科学学报, 2024 , 34 (7) : 219 -228 . DOI: 10.16265/j.cnki.issn1003-3033.2024.07.0133

Lianghai JIN, Shuqing WANG, Xinyu WANG. Research on multimodal emotion characteristics based on short video of rainstorm disaster[J]. China Safety Science Journal, 2024 , 34 (7) : 219 -228 . DOI: 10.16265/j.cnki.issn1003-3033.2024.07.0133

正文

收起

0 引言

收起

近年来，我国极端暴雨灾害频发，给社会安全造成严重威胁。2023年8月初，多地相继遭到强降雨的袭击，均造成严重的人员伤亡和财产损失。暴雨灾害因突发性强、破坏性大、成灾面广，具有巨大的社会影响力。与此同时，现代网络技术的高度发达，加快了灾害舆情的发酵、扩散速度，加剧了负面情绪的传染、蔓延^[1]。国务院指示：“加强舆论引导，及时回应社会关切，同时避免灾害可能引起的社会恐慌情绪”^[2]。网民情感特征不仅能直接用于灾情评估，更是能否满足社会关切的重要衡量标准，对综合减灾及应急管理具有重要意义^[3]。

国内外学者对突发灾害事件情感研究领域涉及较早，基于微博等文本类社交媒体的研究成果已相当丰富。如张谱等^[4]以2021年3场重大暴雨洪涝灾害为例，利用语言预训练(Bidirectional Encoder Representation from Transformers，BERT)模型呈现了时间序列上的情感分析；GUO Difan等^[5]通过情感词典分析了2020年长江中下游特大洪水的网民评论，并按空间分布进行统计；LIU Yang等^[6]提出情感文本数量与受灾程度呈正相关，与公众满意程度呈负相关。由于纯文本模态无法直观展示灾害场景，不能准确揭示舆情全貌。于是，学者们转向多模态信息研究，其中，短视频可同时向用户传递文本、图像和音频等多模态信息，情绪传染力更具优势^[7]。如韩坤等^[8]通过自注意力机制处理视频图像，发现图像能够带来更为强烈的冲击感，强化了消极情绪的扩散；魏宏程等^[9]基于音频数据的频谱特征识别情感特征，通过对比短视频文本所表达的情感值，发现音频蕴含更丰富的情感信息；WANG Xiaohong等^[10]通过复杂网络分析情感极性影响因子，发现“郑州洪水”中视频更易引起情绪极化，造成社会恐慌。然而，多模态情感分析仍存在一定的技术难点^{[11⇓⇓-14]}，如文本评论具有碎片化、高冗余等特点，难以准确识别特征词；视频提取图像多应用单帧识别技术，转换精度较低；音频易受环境噪声干扰，易出现失真、鲁棒性较差等问题。此外，文本、图像和音频模态之间的异构性也给特征融合带来了极大挑战，直接进行特征融合往往会导致信息冗余、丢失以及噪声干扰等问题，从而影响情感分类的准确性。

暴雨灾害短视频具有模态形式多、数据容量大、增长速度快等特点与难点，如何智能化分析灾害短视频多模态情感特征，成为亟待解决的难题。已有的研究多数局限于单个模态的情感分析，或单独分析各个模态的情感倾向后再进行简单的整合拼接。这种方法忽视了不同模态之间的互补性和关联性，导致情感分类结果存在一定的偏差。鉴于此，笔者提出一种融合文-图-音多模态数据的智能化情感分类模型，运用深度学习技术自动学习、识别、提取并融合多模态数据中的情感特征，实现更细粒度的情感分析，提升情感分类的准确率。并针对暴雨灾害下网民情感的时效性和地域性特点，从时空维度对比分析2场暴雨灾害短视频的情感特征，揭示网民情感的时空变化特征，以期为提高灾害应对效率提供重要的案例支撑和决策依据。

1 多模态数据获取与处理

收起

1.1 暴雨灾害案例

根据中华人民共和国应急管理部发布，2023年7月底至8月上旬，我国华北地区和东北地区相继遭遇极端强降雨。7月27日—8月2日，华北地区出现大面积强降雨天气，其中，河北省遭受历史罕见特大暴雨灾害，引发严重城市内涝和流域局部洪水；8月1日—6日，东北多地遭受暴雨灾害，导致大量农田受淹，基础设施损毁严重^[15]。2023年华北、东北地区突发暴雨灾情情况，见表1。

综合考虑灾情严重程度、受灾范围等因素，可发现“河北暴雨”和“黑龙江暴雨”分别在华北和东北地区最为严重，具有显著性与代表性，且均造成重大社会影响。此外，这2场灾害在短视频平台上具有较高的传播度，“河北暴雨”在抖音平台产生102个相关话题，最大话题播放量高达1.4亿次；“黑龙江暴雨”产生100个相关话题，最大话题播放量高达6 018.4万次。故分别选取“河北暴雨”和“黑龙江暴雨”作为典型研究案例，进行跨区域的暴雨灾害情感特征对比分析。

1.2 数据采集与预处理

截至2023年6月，抖音用户数量已达8.09亿，其知名度和影响力均领先于其他短视频平台^[16]，故文中短视频多模态数据来源于抖音平台，分别检索“河北暴雨/洪灾”(7月27日—8月15日)、“黑龙江暴雨/洪灾”(7月29日—8月17日)，灾害发生前后合计20天的短视频数据。具体步骤如下：

1) 采集短视频的影像、音频和文本(包括视频标题、网民评论数据)多模态数据，以及时间、地理等特征标签。分类存储并进一步压缩多模态数据集，提高后续智能化分析速度。

2) 删减重复视频、剔除与灾害无关视频后，利用Python技术进行去重、删除空值、剔除无意义数据等数据清洗。

3) 经核查，共采集到“河北暴雨”有效短视频2 261个，文本数据共计33 819条；“黑龙江暴雨”有效短视频1 906个，文本数据共计27 762条。

1.3 暴雨灾害短视频多模态情感特征研究框架

研究框架分为3部分，分别为：①多模态数据获取与处理，通过Python解析短视频文件，抓取暴雨灾害短视频文本-图像-音频多模态数据，预处理后分类存储；②构建多模态情感智能分类模型，运用深度学习技术实现多模态情感信息的处理与智能分类；③多模态情感特征分析，从时序演化特征、空间分布特征2方面可视化展示并对比分析暴雨灾害多模态情感特征，如图1所示。

2 多模态情感特征分析模型

收起

基于深度学习技术，多模态信息的识别方法越来越发达，通过提取并融合情感特征，可更加精确地判断短视频情感倾向^[13]。故提出一种基于深度学习的多模态情感智能分类模型，模型主要由3部分组成：①特征提取模块，使用BERT模型捕获文本中的深层语义信息提取出文本情感特征^[11]，通过双层CNN实现图像原始层到特征图的转换^[12]，利用openSMILE识别频率(能量值)更高、情感信息更丰富的音频特征^[13];②特征融合模块，采用多头注意力机制(Multi-head Attention Mechanism，MAM)^[14]跨模块融合文本、图像和音频模态的特征向量，并引入最大池化消除模态融合后产生的噪声和冗余信息；③情感分类模块，用于接收融合后的特征向量，输出相应的情感极性。模型架构如图2所示。

2.1 多模态情感特征提取

1) 文本特征提取。为实现多模态信息融合，需要通过向量化编码将信息转为特征向量。BERT模型通过其强大的语言理解能力和上下文语境感知能力，在理解短视频文本时，能够同时考虑文本前后语境，很好地解决一词多义的问题，从而更准确地提取文本中的情感特征^[11]。BERT模型在多个评测数据集上都取得了优秀的性能，这证明了其强大的泛化能力，故使用BERT模型提取短视频文本中的情感特征。首先，利用BERT模型对文本进行编码，定义文本集合T=(t₁，t₂，…，t_i，…，t_n)，t_i表示第i条文本，共n条；其次，对T中每一条文本t_i进行向量化表示，得到X=(x₁，x₂，…，x_i，…，x_m)，m为文本t_i中词向量个数。

2) 图像特征提取。首先，短视频数据集通常包含大量的图像帧，相比于其他图像特征提取方法，CNN在处理大规模数据集时表现更加出色，其性能会随着数据量的增加得到提升。其次，CNN采用了深度学习和神经网络的特性，可学习到丰富的特征表示，通过双层堆叠的层级结构对图像进行卷积操作，从而实现原始层到特征图的转换，较好地提取图像情感特征^[12]。该模型首先将视频看作多帧图像序列；然后，将图像经输入层送入卷积层，通过2次滑动卷积核对图像进行卷积运算，得到特征图；最后，对特征图进行降维，提取图像模态特征并展平，得到向量化表示P=(p₁，p₂，…，p_i，…，p_e)，p_i表示第i个图向量，共e个。如图3所示。

3) 音频特征提取。暴雨灾害短视频多拍摄于露天复杂环境，音频易受雨声、环境噪声干扰，易出现失真、鲁棒性较差等问题^[10]。openSMILE作为开源的音频特征提取工具包，通过对音频信号进行分帧、加窗、傅里叶变换等处理，从而得到音频信号的频谱图，便于筛选频率(能量值)更高、情感信息更丰富的音频数据。openSMILE可计算多达6 000个音频特征，并能够捕获到情感的细微差别，有利于处理暴雨灾害短视频中复杂的音频信号，准确提取音频情感特征^[13]。

该模型先分帧处理音频信号，定义音频集合A=(a₁，a₂，…，a_i，…，a_k)，a_i表示第i条音频，共k条；将各段音频a_i分成连续的音频序列f_i∈{f₁，f₂，…，f_k};再加窗处理每一帧，令音频f_τ乘以窗函数h(τ-t)，得到在该时刻的一个切片f_τ×h(τ-t);并利用STFT算法进行傅里叶变换，在τ时刻对切片f_τ×h(τ-t)积分，得到频谱图，如下式：

(1)

f i = C t (a i ， l ， k)

(2)

S f (t ， g) = ∫ - ∞ ∞ f τ × h (τ - t) e x p (- j 2 g π τ) d τ

式中：C_t为Cut分割函数；l为帧长度；τ为某一时刻；t为时间参数；g为滑动窗函数，表示在时间上可滑移的窗口。

通过频谱图筛除频率较低、振幅值较小的噪声片段，更准确地提取音频情感特征。最终将筛选后的音频转换为纯文本进行BERT模型分析，得到向量化表示S=(s₁，s₂，…，s_i，…，s_k)。

4) 特征向量归一化。将X、P、S分别输入到全连接层中，得到归一化特征向量F_x、F_p、F_s，用于后续的多模态特征融合，如下式：

(3)

F δ i = W δ i + b

式中：δ_i为文本、图像和音频特征向量；W为全连接层权重矩阵；b为偏置项。

2.2 多模态情感特征融合

多模态情感特征融合是情感分析的核心，融合效果决定了情感分类的性能。利用MAM能够有效融合跨模态情感特征，提高情感三分类的准确率^[17](Accuracy category classification-3，Acc-3)。考虑到文本模态的情感分类效果往往优于图像和音频模态^[18]，该模型分别将图像与文本、音频与文本两两融合，再拼接融合后的2大特征与文本特征。原理如下：

1) 各模态注意力分数计算及加权。MAM融合过程可视为一个查询操作<Query>和一系列键值<Key，Value>进行逐次交互，从而使<Query>获得注意力分数。将图像特征向量F_p和音频特征向量F_s分别作为查询值Q，文本特征向量F_x作为键值KV，如下式：

(4)

A t (Q ， K ， V) = S Q K T d k V

式中：A_t(·)为注意力机制；S(·)为激活函数；Q为查询向量矩阵Query;K为键向量矩阵Key;V为值向量矩阵Value;d_k为键向量的维度。

(5)

h i = A t (Q W i Q ， K W i K ， V W i V)

(6)

M h (Q ， K ， V) = C c (h 1 ， h 2 ， … ， h d) W 0

式中：h_i为第i个注意力计算；

W i Q

、

W i K

、

W i V

、W₀为多头注意力的线性变换权重矩阵；M_h为多头注意力计算结果；C_c为Concat拼接函数；d为MAM中头的数量。

2) 根据计算结果融合不同模态的特征。首先，输入到线性层进行特征转换，经过MAM内部作用后，得到初步融合的特征向量F_x-F_p(文本—图像)和F_x-F_s(文本—音频);融合后的特征向量易存在信息冗余和噪声问题，无法保证短视频情感分析的准确性，故对模型加入最大池化，有利于消除模态融合后产生的噪声和冗余信息，减少计算量。得到降噪融合后的特征向量F_xp和F_xs后，拼接文本T中最后一个向量x_m与F_xp、F_xs的特征，得到多模态融合特征向量，如下式：

(7)

F x p s = C c (x m ， F x p ， F x s)

式中F_xps为文本—图像—音频多模态融合特征。

2.3 多模态情感分类

情感三分类准确率Acc-3是情感分类模型的关键评价指标。为验证多模态情感智能分类模型的准确性，分别从“河北暴雨”和“黑龙江暴雨”数据集中随机挑选100个短视频，构建测试集。模型测试及分类流程如下：

1) 首先采用人工方式标注情感类别(积极/中性/消极)，然后利用该模型分别对测试集进行情感分类预测。

2) 情感极性值区间定为(0，1)，取值越接近于1表示情感越积极，越接近于0则表示越消极。将多模态融合特征F_xps输入到全连接层中，统计特征向量的情感极性值，如下式：

(8)

L a = D (F x p s ， β)

式中：L_a为情感极性值；D为全连接层；β为全连接层的参数。

3) 通过多次试验调整阈值，发现情感极性值位于(0.6，1)可较好地包含大多数人工标注的积极情感视频；(0，0.4)包含大量消极情感视频；(0.4，0.6)则包含大量中性情感视频，故最优的情感阈值设置为0.4、0.6。将阈值区间代入模型可得到对应的情感类别。

经多次测试，对比人工标注与智能分类结果，该模型在“河北暴雨”和“黑龙江暴雨”测试集中的情感智能分类准确率均达到85%以上，分析示例见表2。对比现有的多模态情感分类模型，如韩燚笑等^[19]提出的RCHFN模型在微博数据集的情感三分类准确率达到81.25%;张继东等^[20]提出的BiLSTM-VGG16模型对“7·20河南特大暴雨”数据集的情感分类准确率为83.24%，文中所提出的模型准确率相对有所提升。

此外，通过深入比较与验证错误分类的短视频样本，得到影响模型准确率的因素如下：

1) 暴雨灾害短视频多拍摄于室外复杂环境，视频中可能存在噪声和异常值，如画面模糊、音频失真等，从而对模型的分类结果产生负面影响，导致分类错误。

2) 在暴雨灾害的情境下，人们可能会表现出各种复杂的情感反应，如以反讽的语气表达对救援管理的批评，这些反应难以进行准确识别，从而导致分类错误。此外，由于文化差异、个体差异等因素的影响，人们对同一情感可能有不同的理解和表达方式，这也增加了情感分类的难度。

3) 人工标注的方式导致数据标注的结果具有一定的偏差，标注者的情感理解或标注过程中的主观性也会影响模型的准确率。

3 多模态情感特征分析

收起

运用多模态情感智能分类模型分别对“河北暴雨”“黑龙江暴雨”数据集进行情感分类，结果见表3。

由表3可知：2场灾害均为中性情感占优，由于暴雨灾害通常被视为不可抗的极端自然现象，网民发布视频或发表评论更多以中性、谨慎的态度。此外，“河北暴雨”积极情感占比33.66%，消极情感占比25.30%;“黑龙江暴雨”积极情感占比17.58%，消极情感占比38.72%。在不考虑中性情感的情况下，“河北暴雨”积极情感居优，“黑龙江暴雨”消极情感占据主导。

3.1 时序演化特征

多模态情感信息是反映灾情实时态势的重要方式，不仅蕴含时间、地点、状态等关键要素，而且通过挖掘时空大数据，可获取更多维度的数据，更能够相互补充、相互印证，对提高灾害应对效率起到重要支撑作用^[21]。

灾情态势及舆情演化往往具有一定的生命周期。参照以往研究^[22-23]，结合2场暴雨灾害实时进展，将生命周期分为形成期、爆发期、扩散期及衰退期。基于时间序列对情感分类结果进行可视化呈现，探究情感波动及演化特征，结果如图4所示。

对照查证2场灾害实时进展，由图4可知：

1) 情感波动与暴雨灾害生命周期大致相符。①形成期内，暴雨开始出现，情感出现波动，舆论对暴雨的关注程度开始上升；②爆发期内，暴雨发展态势严重，情感波动迅速上升至峰值，舆论关注度呈现爆发式增长；③扩散期内，暴雨逐渐停息，情感波动迅速下滑，表明随着救援工作的展开和灾情的缓解，舆论关注度逐渐下降；④衰退期内，灾害得到妥善处理，情感波动下降至完全消退，舆论关注度逐渐消失。

2) 情感演化与灾情发展、舆论发布密切相关。①分析图4a，“河北暴雨”于爆发期(8月1—5日)出现情感波峰，2日前，因突发暴雨，中性和消极情感占据主导；其后，大量媒体对抗灾救援等正能量行为竞相报道，情感演化趋势由消极转为积极。11日，再次出现情感波动，消极情感占据主导。经查证，11日召开的“河北省防汛救灾暨灾后重建”新闻发布会对此次特大暴雨进行灾情通报，引发舆论再次关注，公众对洪灾造成的巨大损失表示惋惜和痛心。②分析图4b，“黑龙江暴雨”于爆发期(8月4—7日)出现情感波峰，因降雨态势严重，同样以中性和消极情感为主，但却始终占据主导地位。经查证，8月3日—6日黑龙江省气象台多次发布暴雨红色预警，伴随各地的大规模降水，媒体对洪灾破坏的报道更频繁和突出。此外，“黑龙江暴雨”的情感波动峰值更高，消极情感占比更多。

综上，灾害破坏易引发消极情感，若中性、消极情感迅速爆发，可作为判断灾情严重性的一个重要参考，相关部门需警惕事件的严重性，及时采取预防措施。其次，媒体及政府的干预对网民情感演化具有重要作用，关于抗灾救援的正能量报道能极大提升积极情感。因此，可有针对性地淡化灾害本身相关话题，转而更多的引导公众给灾区人民加油打气，快速推进舆情正面化发展。

3.2 空间分布特征

相比中性、积极情感，消极情感更能反映灾情的严重性和紧迫性，不仅可作为感知灾情的依据，更易促成负面舆情的爆发，具有诱发社会恐慌的风险^[24-25]。一方面，灾区网民通过感知灾情现场，抒发悲伤、悲惨和不公平等消极情感，易引起大众情感共鸣，进而被广泛传播；另一方面，非灾区网民通过感知多模态信息，感染担忧、恐惧等消极情感，并传染给他人。这种跨地域的共鸣和扩散效应增加了消极情感的影响力。

因此，基于空间分布可视化呈现消极情感结果，结合降雨轨迹进一步探究消极情感分布及演化特征，如图5所示。其中，利用自然间断法将消极情感视频数量划分为5个等级，颜色越深表示该地区消极情感强度越高。

对照查证2场灾害实时进展，由图5可知：

1) 受灾地区的消极情感强度随降雨轨迹呈“低—高—低”变化趋势。①第1阶段(7月27日—8月2日)，降雨轨迹由南向北。河北省正处于降雨中心，其消极情感强度高于降雨范围内的山东省，显著高于受前期降雨影响的江苏、浙江等省份。此时，黑龙江省等未受降雨影响，消极情感强度相对较低。②第2阶段(8月2—5日)，降雨轨迹由西向东。黑龙江省处于新的降雨中心，消极情感最为强烈，且强度依次高于雨水经过的吉林省、辽宁省。此时，河北省等第1阶段受灾地区的消极情感强度显著下降。

因灾情转移，受灾地区消极情感强度呈现“低—高—低”变化趋势：前期受灾地区消极情感强度显著下降，新受灾地区消极情感强度显著上升，最终随着灾情的缓解，消极情感强度逐渐下降至消散。

2) 消极情感的共鸣和扩散效应呈现地域性特征。①相对其他未受灾地区，广东省、四川省虽地理距离较远，但消极情感更为强烈。经查证，广东省、四川省常年遭受暴雨洪涝灾害，1991—2020年共30年，广东省洪涝灾害发生频率高达50%以上，四川省则为30%~50%^[26]。可知：频发的灾害更易使大众“感同身受”，拉近了大众与灾情的心理距离，增强了消极情感的感染力。②消极情感的分布呈现一定的聚集性特征。经统计，在2场灾害中，我国东部地区所发布的视频数量较多，西部地区数量较少。一方面，东部地区人口密度更大、经济和社会发展水平较高，网民数量及参与度更高；另一方面，东部地区降雨丰富，公众对暴雨灾害的心理距离较小，更容易产生共鸣和关注^[27]。

综上所述，消极情感与灾情具有强相关性，灾情转移直接影响某地区消极情感强度。频发类似灾害的地区，更易拉近与灾区人民的心理距离，更应重视消极情感的共鸣和扩散效应。

4 结论

收起

1) 基于深度学习技术，构建暴雨灾害短视频多模态情感智能分类模型，准确性达85%以上，能有效实现短视频的多模态情感智能分类任务。

2) 基于时间维度分析情感波动及演化，可达到舆情预警作用，帮助相关部门及时调整应急策略。情感的时序变化与暴雨灾害生命周期大致相符，抗灾救援等正能量报道能够有效提升积极情感，而灾害破坏等负面信息，则会激化消极情感。

3) 基于空间维度探究消极情感随灾情分布，有助于针对性的监测、防控负面舆情，避免社会恐慌。受灾地区消极情感强度随降雨轨迹呈"低-高-低"变化趋势，可根据气象预测，加强新受灾地区舆论宣传。类似灾害频发使得大众心理距离较小，更易感染消极情感。

基金

收起

教育部人文社科基金资助(21YJA630038)
中国长江三峡集团有限公司企业科研项目(202103551)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

万欣, 丁欣宇, 张天天, 等. 考虑基础设施中断的暴雨灾害社会影响研究:基于公众视角的情感与行为演化分析[J]. 自然资源学报, 2023, 38(11):2919-2932.

WAN

Xin

, DING

Xinyu

, ZHANG

Tiantian

, et al. Research on social impacts of rainstorm disaster considering infrastructure disruption: an analysis of sentimental and behavioral evolution from a public perspective[J]. Journal of Natural Resources, 2023, 38(11):2919-2932.

[2]

中华人民共和国中央人民政府. 国务院办公厅关于印发国家防汛抗旱应急预案的通知[Z].2022-07-06.

[3]

吕伟, 周雯楠, 陈文涛, 等. 暴雨灾害短视频引发舆情危机的BN研究[J]. 中国安全科学学报, 2022, 32(11):192-199.

LYU

Wei

, ZHOU

Wennan

, CHEN

Wentao

, et al. Research on BN of network public opinion crisis risk caused by short videos of rainstorm disaster[J]. China Safety Science Journal, 2022, 32(11):192-199.

[4]

张谱, 张豪, 孔锋, 等. 基于微博数据的暴雨洪涝灾害舆情特征研究:以2021年中国三场暴雨洪涝为例[J]. 水利水电技术:中英文, 2023, 54(2):47-59.

ZHANG

, ZHANG

Hao

, KONG

Feng

, et al. A study on public opinion characteristics of rainstorm flooding disasters based on Sina Weibo data: take the three rainstorm flooding disasters in China in 2021 as an example[J]. Water Resources and Hydropower Engineering: Chinese and English, 2023, 54(2):47-59.

[5]

GUO

Difan

, ZHAO

Qingting

, CHEN

Qinwei

, et al. Comparison between sentiments of people from affected and non-affected regions after the flood[J]. Geomatics Natural Hazards & Risk, 2021, 12(1):3346-3357.

[6]

LIU

Yang

, LI

Rui

, WANG

Shunli

, et al. Deducing flood development process using social media: an event-based and multi-level modeling approach[J]. Isprs International Journal of Geo-Information, 2022, 11(5): DOI: 10.3390/ijgi11050306.

[7]

徐元, 毛进, 李纲. 面向突发事件应急管理的社交媒体多模态信息分析研究[J]. 情报学报, 2021, 40(11):1150-1163.

Yuan

, MAO

Jin

, LI

Gang

. Social media multimodal analysis for emergency management[J]. Journal of the China Society for Scientific and Technical Information, 2021, 40(11):1150-1163.

[8]

韩坤, 潘宏鹏, 刘忠轶. 融合BERT多层次特征的短视频网络舆情情感分析研究[J/OL]. 计算机科学与探索: 1-12[2023-12-27]. http://kns.cnki.net/kcms/detail/11.5602.TP.20231226.1733.004.html. http://kns.cnki.net/kcms/detail/11.5602.TP.20231226.1733.004.html

HAN

Kun

, PAN Hongpeng, LIU Zhongyi. Research on sentiment analysis of short video network public opinion by integrating BERT multi-level features[J/OL]. Journal of Frontiers of Computer Science and Technology: 1-12[2023-12-27]. http://kns.cnki.net/kcms/detail/11.5602.TP.20231226.1733.004.html. http://kns.cnki.net/kcms/detail/11.5602.TP.20231226.1733.004.html

[9]

魏宏程, 朱恒民, 魏静, 等. 基于短视频网络的互联网舆情演化研究[J/OL]. 数据分析与知识发现:1-18[2023-10-19]. http://kns.cnki.net/kcms/detail/10.1478.G2.20231018.1449.008.html. http://kns.cnki.net/kcms/detail/10.1478.G2.20231018.1449.008.html

WEI

Hongcheng

, ZHU

Hengmin

, WEI

Jing

, et al. Analyzing the evolution of internet public opinion based on short-video network[J/OL]. Data Analysis and Knowledge Discovery:1-18[2023-10-19]. http://kns.cnki.net/kcms/detail/10.1478.G2.20231018.1449.008.html. http://kns.cnki.net/kcms/detail/10.1478.G2.20231018.1449.008.html

[10]

WANG

Xiaohong

, ZHANG

Chen

, WEI

Qinglan

, et al. Public emotional atmosphere during disasters: understanding emotions in short video comments on the Zhengzhou flood[J]. Chinese Journal of Communication, 2023, 17(2):151-169.

[11]

DEVLIN

, CHANG

M W

, LEE

, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C]. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019:4171-4186.

[12]

SHI

Wei

, ZHANG Jing, HE Shaoyi. Understanding public opinions on Chinese short video platform by multimodal sentiment analysis using deep learning-based techniques[J]. Kybernetes, 2023: DOI:10.1108/K-04-2023-0723.

[13]

李慧, 庞经纬. 基于文图音融合的多模态网民情感识别研究[J/OL]. 数据分析与知识发现, 2023: 1-17[2023-10-16]. http://kns.cnki.net/kcms/detail/10.1478.g2.20231011.1557.012.html. http://kns.cnki.net/kcms/detail/10.1478.g2.20231011.1557.012.html

Hui

, PANG Jingwei. Multi-modal emotion recognition of online users based on fusion of text, image, and STFT-based audio[J/OL]. Data Analysis and Knowledge Discovery: 2023: 1-17[2023-10-16]. http://kns.cnki.net/kcms/detail/10.1478.g2.20231011.1557.012.html. http://kns.cnki.net/kcms/detail/10.1478.g2.20231011.1557.012.html

[14]

缪裕青, 董晗, 张万桢, 等. 一种多任务学习的跨模态视频情感分析方法[J]. 计算机工程与应用, 2023, 59(12):141-147.

MIAO

Yuqing

, DONG

Han

, ZHANG

Wanzhen

, et al. Cross-modal video emotion analysis method based on multi-task learning[J]. Computer Engineering and Applications, 2023, 59(12):141-147.

[15]

中华人民共和国应急管理部. 应急管理部发布2023年8月全国自然灾害情况[EB/OL].[2023-09-06]. https://www.mem.gov.cn/xw/yjglbgzdt/202309/t20230906_461707.shtml. https://www.mem.gov.cn/xw/yjglbgzdt/202309/t20230906_461707.shtml

[16]

中国互联网络信息中心. 第52次《中国互联网络发展状况统计报告》[EB/OL].[2023-08-28]. https://www.cnnic.cn/n4/2023/0828/c88-10829.html. https://www.cnnic.cn/n4/2023/0828/c88-10829.html

[17]

董晗. 多模态融合的视频情感分析研究[D]. 桂林: 桂林电子科技大学, 2022.

DONG

Han

. Video sentiment analysis of multimodal fusion[D]. Guilin:Guilin University of Electronic Technology, 2022.

[18]

Wenmeng

, XU

Hua

, MENG

Fanyang

, et al. Ch-sims: a Chinese multimodal sentiment analysis dataset with fine grained annotation of modality[C]. 58^th Annual Meeting of the Association for Computational Linguistics, 2020:3718-3727.

[19]

韩燚笑, 马静. RCHFN模型:一种多模态特征融合的情感分类方法[J/OL]. 数据分析与知识发现, 2023: 1-16.[2023-11-29]. http://kns.cnki.net/kcms/detail/10.1478.G2.20231128.1743.002.html. http://kns.cnki.net/kcms/detail/10.1478.G2.20231128.1743.002.html

HAN

Yixiao

, MA

Jing

. The RCHFN model: a multimodal feature fusion approach for sentiment classification[J/OL]. Data Analysis and Knowledge Discovery, 2023: 1-16.[2023-11-29]. http://kns.cnki.net/kcms/detail/10.1478.G2.20231128.1743.002.html. http://kns.cnki.net/kcms/detail/10.1478.G2.20231128.1743.002.html

[20]

张继东, 张慧迪. 融合注意力机制的多模态突发事件用户情感分析[J]. 情报理论与实践, 2022, 45(11):170-177.

ZHANG

Jidong

, ZHANG

Huidi

. Multimodal user emotion analysis of emergencies based on attention mechanism[J]. Information Studies: Theory & Application, 2022, 45(11):170-177.

[21]

KIM

, BAE

, HASTAK

. Emergency information diffusion on online social media during storm Cindy in US[J]. International Journal of Information Management, 2018, 40:153-165.

[22]

FINK

. Crisis management: planning for the inevitable[M]. New York: American Management Association, 1986:245.

[23]

贾亚敏, 安璐, 李纲. 城市突发事件网络信息传播时序变化规律研究[J]. 情报杂志, 2015, 34(4):91-96.

JIA

Yamin

, AN

, LI

Gang

. On the online information dissemination pattern of city emergencies[J]. Journal of Intelligence, 2015, 34(4):91-96.

[24]

王晟旻, 宋英华, 刘丹, 等. 基于社会燃烧理论的突发公共卫生事件网络情绪传播模型[J]. 中国安全科学学报, 2021, 31(2):16-23.

WANG

Shengmin

, SONG

Yinghua

, LIU

Dan

, et al. Network emotion propagation model of public health emergencies based on social combustion theory[J]. China Safety Science Journal, 2021, 31(2):16-23.

[25]

黄方楠, 李明德. 短视频舆情的非理性表达与互动分析[J]. 情报杂志, 2022, 41(3):152-158,113.

HUANG

Fangnan

, LI

Mingde

. Irrational expression and interaction of online public opinion in short video[J]. Journal of Intelligence, 2022, 41(3):152-158,113.

[26]

中华人民共和国水利部. 水利部公布《2020中国水旱灾害防御公报》[EB/OL].[2021-12-08]. http://www.mwr.gov.cn/sj/tjgb/zgshzhgb/202112/t20211208_1554245.html. http://www.mwr.gov.cn/sj/tjgb/zgshzhgb/202112/t20211208_1554245.html

[27]

赵飞, 廖永丰. 突发自然灾害事件网络舆情传播特征及影响因素研究[J]. 地球信息科学学报, 2021, 23(6):992-1001.

ZHAO

Fei

, LIAO Yongfeng. Research on the dissemination characteristics and influencing factors of network public opinion of sudden natural disaster events[J]. Geo-Information Science, 2021, 23(6):992-1001.

2024年第34卷第7期

PDF下载

513

225

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.07.0133

接收时间：2024-01-02
首发时间：2025-07-09
出版时间：2024-07-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-01-02
修回日期：2024-04-12

基金

教育部人文社科基金资助(21YJA630038)

中国长江三峡集团有限公司企业科研项目(202103551)

作者信息

¹ 三峡大学水电工程施工与管理湖北省重点实验室，湖北宜昌 443002

² 三峡大学水利与环境学院，湖北宜昌 443002

³ 三峡大学安全生产标准化评审中心，湖北宜昌 443002

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.07.0133

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

地区	灾害	发生时间	降雨量情况	受灾人数	生命损失	直接经济损失
华北	河北暴雨	7月27日—8月2日	多地超过300 mm，最大累计降雨量为1 009 mm	388.86万人	因灾死亡29人、失联16人	958.11亿元
北京暴雨	7月29日—8月2日	平均降雨量331 mm	77.76万人	因灾死亡33人、失联18人	159.86亿元
天津暴雨	7月29日—8月1日	平均降雨量108.5 mm	8万余人	—	—
东北	黑龙江暴雨	8月2日—5日	多地降雨量超250 mm， 25条河流超警戒水位	超过37万人	—	—
辽宁暴雨	8月4日	平均降雨量152.5 mm	1 469人	—	383.72万元
吉林暴雨	8月1—6日	平均降水量117.7 mm	超过4万人	因灾死亡 14人，失联1人	—

地区

灾害

发生时间

降雨量情况

受灾人数

生命损失

直接经济损失

华北

河北暴雨

7月27日—8月2日

多地超过300 mm，最大
累计降雨量为1 009 mm

388.86万人

因灾死亡29人、
失联16人

958.11亿元

北京暴雨

7月29日—8月2日

平均降雨量331 mm

77.76万人

因灾死亡33人、
失联18人

159.86亿元

天津暴雨

7月29日—8月1日

平均降雨量108.5 mm

8万余人

—

东北

黑龙江暴雨

8月2日—5日

多地降雨量超250 mm，
25条河流超警戒水位

超过37万人

—

辽宁暴雨

8月4日

平均降雨量152.5 mm

1 469人

—

383.72万元

吉林暴雨

8月1—6日

平均降水量117.7 mm

超过4万人

因灾死亡
14人，失联1人

—

序号	多模态信息	人工标注	模型分类
1	文本：种大米的家庭却一粒米都没有了… 图像：悲伤哭泣音频：(哭泣声)年迈的父母不刷抖音，才敢在这哭一下…	消极	消极/0.16
2	文本：捐赠物资满满的感动… 图像：面带微笑、大拇指音频：(雨声)…抗灾…良心…加油…	积极	积极/0.81
3	文本：好心人多关注霸州… 图像：房屋被淹音频：…泪目…希望更多力量加入…帮帮忙…	中性	中性/0.45

序号

短视频

多模态信息

人工标注

模型分类

文本：种大米的家庭却一粒米都没有了…
图像：悲伤哭泣
音频：(哭泣声)年迈的父母不刷抖音，才敢在这哭一下…

消极

消极/0.16

文本：捐赠物资满满的感动…
图像：面带微笑、大拇指
音频：(雨声)…抗灾…良心…加油…

积极

积极/0.81

文本：好心人多关注霸州…
图像：房屋被淹
音频：…泪目…希望更多力量加入…帮帮忙…

中性

中性/0.45

情感倾向	河北暴雨	黑龙江暴雨
消极情感	572	25.30	738	38.72
中性情感	928	41.04	833	43.70
积极情感	761	33.66	335	17.58
合计	2 261	100	1 906	100

情感倾向

河北暴雨

黑龙江暴雨

短视频
数量/个

占比/%

短视频
数量/个

占比/%

消极情感

572

25.30

738

38.72

中性情感

928

41.04

833

43.70

积极情感

761

33.66

335

17.58

合计

2 261

100

1 906

100