中国安全科学学报

方法	超参数复杂度	计算复杂度	训练时间复杂度	可解释性
Maskgan	高	极高	极高	弱
SMOTE	低	低	中	弱
GE3	无	低	中	弱
KMKP	无	低	低	强

方法	超参数复杂度	计算复杂度	训练时间复杂度	可解释性
Maskgan	高	极高	极高	弱
SMOTE	低	低	中	弱
GE3	无	低	中	弱
KMKP	无	低	低	强

实例	关系标签	头实体类型	尾实体类型	实体类型先验概率分布p
企业将有关情况报告人民政府	上下级	职责部门	职责部门	p(职责部门)=4/13 p(指挥体系)=2/13 p(工作组)=3/13 p(岗位)=1/13 p(职责部门)=2/13 p(职责内容)=1/13
现场指挥部下设综合组、抢险救援组…	设立	指挥体系	工作组/岗位
市政府分管副市长担任现场指挥部指挥长	担任	部门成员	岗位
市较大生产安全事故应急指挥部成员单位由市委宣传部、市发改委等单位组成	组成单位	指挥体系/工作组	职责部门
市消防救援支队参与事故应急救援和处置工作	执行	职责部门/工作组	职责内容

实例	关系标签	头实体类型	尾实体类型	实体类型先验概率分布p
企业将有关情况报告人民政府	上下级	职责部门	职责部门	p(职责部门)=4/13 p(指挥体系)=2/13 p(工作组)=3/13 p(岗位)=1/13 p(职责部门)=2/13 p(职责内容)=1/13
现场指挥部下设综合组、抢险救援组…	设立	指挥体系	工作组/岗位
市政府分管副市长担任现场指挥部指挥长	担任	部门成员	岗位
市较大生产安全事故应急指挥部成员单位由市委宣传部、市发改委等单位组成	组成单位	指挥体系/工作组	职责部门
市消防救援支队参与事故应急救援和处置工作	执行	职责部门/工作组	职责内容

数据集	train	vel	test	label
中文	CCL2022	2 399	300	301	2
人物关系抽取	10 000	1 000	1 000	12
英文	SemEval	6 507	1 493	2 717	19
TACRED	68 124	22 631	15 509	42

数据集	train	vel	test	label
中文	CCL2022	2 399	300	301	2
人物关系抽取	10 000	1 000	1 000	12
英文	SemEval	6 507	1 493	2 717	19
TACRED	68 124	22 631	15 509	42

参数	名称	取值
PLM	PLM	中文：roberta-chinese-large 英文：roberta-large
batch_size	训练批次	8
epoch	训练轮次	30
lr	学习率	5e-5
max_length	最大文本长度	256
optimizer	优化器	AdamW
t_beta	边界损失函数权重	0.05
knn_topk	KNN实例数据量	8
knn_lambda	矫正因子权重	0.3
gamma	边界值	1

参数	名称	取值
PLM	PLM	中文：roberta-chinese-large 英文：roberta-large
batch_size	训练批次	8
epoch	训练轮次	30
lr	学习率	5e-5
max_length	最大文本长度	256
optimizer	优化器	AdamW
t_beta	边界损失函数权重	0.05
knn_topk	KNN实例数据量	8
knn_lambda	矫正因子权重	0.3
gamma	边界值	1

模型	中文	英文	均值
PLM	Fine-Tuning	72.0	99.7	87.6	68.7	82.0
R-BERT	73.1	99.3	89.3	69.4	82.8
GDPNet	74.7	98.6	88.7	71.5	83.4
PT 预训练模型	PTR	—	—	89.9	72.4	—
KnowPrompt	79.7	99.3	90.2	72.4	85.4
KMKP	83.2 (+3.5)	99.6 (-0.1)	90.5 (+0.3)	72.8 (+0.4)	86.5 (+1.1)

模型	中文	英文	均值
PLM	Fine-Tuning	72.0	99.7	87.6	68.7	82.0
R-BERT	73.1	99.3	89.3	69.4	82.8
GDPNet	74.7	98.6	88.7	71.5	83.4
PT 预训练模型	PTR	—	—	89.9	72.4	—
KnowPrompt	79.7	99.3	90.2	72.4	85.4
KMKP	83.2 (+3.5)	99.6 (-0.1)	90.5 (+0.3)	72.8 (+0.4)	86.5 (+1.1)

样本数量	模型	中文	英文	均值
1	Fine-Tuning	15.5	73.9	18.7	7.5	28.9
R-BERT	19.0	64.0	22.4	10.1	28.9
KnowPrompt	22.7	65.6	29.1	17.8	33.8
KMKP	23.9(+1.2)	67.1(-6.8)	31.7(+2.6)	20.8(+3.0)	35.9(+2.1)
8	Fine-Tuning	28.1	78.3	40.9	12.3	39.9
R-BERT	31.3	87.6	45.1	14.8	44.7
KnowPrompt	33.1	71.5	74.1	32.3	52.8
KMKP	34.9(+1.8)	75.3(-12.3)	79.5(+5.4)	32.7(+0.4)	55.6(+2.8)
16	Fine-Tuning	34.2	90.0	65.4	21.2	52.7
R-BERT	37.3	86.8	67.7	23.9	53.9
KnowPrompt	40.2	79.5	81.5	35.1	59.1
KMKP	41.5(+1.3)	81.8(-8.2)	83.1(+1.6)	37.4(+2.3)	61.0(+1.9)

样本数量	模型	中文	英文	均值
1	Fine-Tuning	15.5	73.9	18.7	7.5	28.9
R-BERT	19.0	64.0	22.4	10.1	28.9
KnowPrompt	22.7	65.6	29.1	17.8	33.8
KMKP	23.9(+1.2)	67.1(-6.8)	31.7(+2.6)	20.8(+3.0)	35.9(+2.1)
8	Fine-Tuning	28.1	78.3	40.9	12.3	39.9
R-BERT	31.3	87.6	45.1	14.8	44.7
KnowPrompt	33.1	71.5	74.1	32.3	52.8
KMKP	34.9(+1.8)	75.3(-12.3)	79.5(+5.4)	32.7(+0.4)	55.6(+2.8)
16	Fine-Tuning	34.2	90.0	65.4	21.2	52.7
R-BERT	37.3	86.8	67.7	23.9	53.9
KnowPrompt	40.2	79.5	81.5	35.1	59.1
KMKP	41.5(+1.3)	81.8(-8.2)	83.1(+1.6)	37.4(+2.3)	61.0(+1.9)

模型	k=1	k=8	k=16	k=full
Fine-Tuning	77.73	19.05	73.91	82.72	14.29	78.26	95.31	13.33	89.97	99.85	97.27	99.65
R-BERT	66.99	20.93	63.99	93.00	17.00	87.60	92.00	15.00	86.76	99.64	94.44	99.30
KnowPrompt	69.75	48.97	65.57	77.51	64.88	71.54	92.89	77.91	79.49	99.63	94.74	99.32
KMKP	72.73	53.12	67.13	79.31	66.12	75.26	93.14	79.17	81.83	99.82	97.30	99.64

模型	k=1	k=8	k=16	k=full
Fine-Tuning	77.73	19.05	73.91	82.72	14.29	78.26	95.31	13.33	89.97	99.85	97.27	99.65
R-BERT	66.99	20.93	63.99	93.00	17.00	87.60	92.00	15.00	86.76	99.64	94.44	99.30
KnowPrompt	69.75	48.97	65.57	77.51	64.88	71.54	92.89	77.91	79.49	99.63	94.74	99.32
KMKP	72.73	53.12	67.13	79.31	66.12	75.26	93.14	79.17	81.83	99.82	97.30	99.64

模型	P	R	F₁
KMKP	83.4	82.8	83.1
关系语义及结构化约束模块	-边界损失函数	82.1	80.3	81.2
-可学习类型标记	74.9	75.7	75.3
无梯度范式矫正模块	无梯度范式矫正(SVM)	81.9	84.1	83.0
无梯度范式矫正(RF)	82.4	81.0	81.7
-无梯度范式矫正	84.3	81.4	82.8

模型	P	R	F₁
KMKP	83.4	82.8	83.1
关系语义及结构化约束模块	-边界损失函数	82.1	80.3	81.2
-可学习类型标记	74.9	75.7	75.3
无梯度范式矫正模块	无梯度范式矫正(SVM)	81.9	84.1	83.0
无梯度范式矫正(RF)	82.4	81.0	81.7
-无梯度范式矫正	84.3	81.4	82.8

基于知识提示的应急预案少样本关系抽取方法

PDF下载

张凯 ¹ , 陈强 ¹^,^** , 倪凯 ² , 张玉金 ¹

中国安全科学学报 | 应急技术与管理 2024,34(12): 213-222

收起

中国安全科学学报 | 应急技术与管理 2024, 34(12): 213-222

基于知识提示的应急预案少样本关系抽取方法

全屏

张凯¹, 陈强¹^,^**, 倪凯², 张玉金¹

作者信息

¹ 上海工程技术大学电子电气工程学院，上海 201620

² 上海市安全生产科学研究所科技研发室，上海 201620

张凯 (1997—)，男，河南郑州人，硕士研究生，主要研究方向为自然语言处理、应急领域知识图谱构建。E-mail：zhangkai6195@163.com。

倪凯，正高级工程师。

张玉金，副教授。

通讯作者:

**陈强(1965—)，男，湖北荆门人，博士(后)，教授，主要从事软件工程、地球探测与信息技术和机器学习等方面的研究。E-mail：sues_chen@sues.edu.cn。

Knowledge-prompted few-shot relation extraction for emergency plan texts

Kai ZHANG¹, Qiang CHEN¹^,^**, Kai NI², Yujin ZHANG¹

Affiliations

¹ School of Electronic and Electrical Engineering，Shanghai University of Engineering Science，Shanghai 201620，China

² Science and Technology Research and Development Office，Shanghai Institute of Work Safety Science，Shanghai 201620，China

出版时间: 2024-12-28 doi: 10.16265/j.cnki.issn1003-3033.2024.12.0308

文章导航

摘要

收起

为从少样本应急预案文本中精准、快速实现关系抽取，提出一种基于知识提示的K最近邻关系抽取模型(KMKP)。首先，使用融入关系语义的可学习实体类型标记构建提示模板，强化输入对预训练语言模型(PLM)的提示引导效果；其次，利用边界损失函数优化模型训练，使PLM学习应急领域下的特定依赖关系，实现对PLM中掩码标记符[MASK]预测的结构化约束；然后，以训练数据创建无梯度应急知识存储数据库，结合K最近邻(KNN)算法构建知识查询机制，捕捉训练数据和预测数据之间的特征联系，无梯度范式校正PLM的预测结果；最后，在4个公开数据集的少样本设置下(1-，8-，16-shot)进行试验验证与分析。结果表明：KMKP对比最好模型KnowPrompt，F₁值平均提升2.1%、2.8%、1.9%。在少样本(16-shot)应急预案实例测试中，KMKP关系抽取准确率达到91.02%，KMKP能有效缓解少样本场景下模型的灾难性遗忘和过拟合问题。

关键词

知识提示 / 少样本 / 应急预案 / 关系抽取 / 数据增强 / K最近邻(KNN)关系抽取模型(KMKP)

Abstract

收起

In order to accurately and quickly achieve relation extraction from few-shot emergency plan texts，KMKP based on knowledge prompts was proposed. First，a prompt template was constructed，utilizing learnable typed entity markers that incorporate relation semantics. The effectiveness of input guidance on the pre-trained language model (PLM) was thereby enhanced by these markers. Second，the boundary loss function was utilized to optimize model training，enabling the PLM to learn specific dependency relationships in the emergency domain and apply structured constraints to [MASK] predictions. Third，a gradient-free emergency knowledge storage database was created using the training data，and a knowledge retrieval mechanism was constructed by integrating KNN algorithm. The feature connections between training and prediction data can be captured through this mechanism and the gradient-free normation was used to correct the predictions of PLM. Finally，the experimental validation and analysis were performed using four public datasets under few-shot settings (1-，8-，and 16-shot). The results show that compared to the state-of-the-art model，KnowPrompt，F1 score is boosted by an average of 2.1%，2.8%，and 1.9% by KMKP. In a 16-shot emergency plan instance test，a relation extraction accuracy of 91.02% is achieved by KMKP. Catastrophic forgetting and overfitting issues in few-shot scenarios are effectively mitigated.

Key words

knowledge-prompted / few-shot / emergency plan / relation extraction / data augmentation / k-nearest neighbor(KNN) relationship extraction model based on knowledge prompts (KMKP)

引用本文

张凯, 陈强, 倪凯, 张玉金. 基于知识提示的应急预案少样本关系抽取方法. 中国安全科学学报, 2024 , 34 (12) : 213 -222 . DOI: 10.16265/j.cnki.issn1003-3033.2024.12.0308

Kai ZHANG, Qiang CHEN, Kai NI, Yujin ZHANG. Knowledge-prompted few-shot relation extraction for emergency plan texts[J]. China Safety Science Journal, 2024 , 34 (12) : 213 -222 . DOI: 10.16265/j.cnki.issn1003-3033.2024.12.0308

正文

收起

0 引言

收起

应急预案是应急管理工作的核心内容，也是及时、有序、高效地开展应急处置救援的重要保障^[1]。《“十四五”国家应急体系规划》明确提出，要完善预案管理机制，建设应急预案数字化管理平台，并加强预案配套支撑性文件的编制和管理^[2]。目前，应急预案普遍以纸质文件或电子文档的形式存储，存在预案衔接不紧密和辅助决策不充分等问题，无法在突发事故中快速、高效地指导应急救援行动的开展^[3]。因此，研究应急预案知识抽取，从少量非结构化文本中获取关键知识信息，实现灾情快速响应、应急辅助决策，对提高处置效率和推进智慧应急建设有着重要意义。

关系抽取是知识抽取的关键环节，对于提高应急知识图谱构建的质量与效率、促进应急预案数字化转换至关重要^[4]。关系抽取方法根据其发展历程主要划分为基于传统规则和模板、基于统计机器学习、基于深度学习3类，目前以深度学习中微调预训练语言模型(Pre-training Language Model，PLM)的方式为主^[5]。然而，由于应急预案专业词汇存在多样、实体边界模糊和数据集稀缺等问题^[6]，使得关系抽取在应急预案领域的研究进展相对缓慢。许娜等^[7]采用规则结合深度学习的方式实现实体关系抽取，完成了煤矿建设安全知识图谱构建。周义棋^[27]等采用自顶向下的方式，分阶段利用起始终止符实现实体关系抽取。LIU Xuemei等^[8]提出一种将条件随机场和双向长短记忆融合的算法，用于水利工程应急预案实体关系抽取；宋敦江等^[4]优化多头注意力机制，解决了“低秩瓶颈”问题，提高了灾害三元组抽取的准确率。目前学者基于规则或深度学习的方法，在海量应急文本中实现了知识抽取，但相关方法需要较高的人力成本处理数据或构建专家规则。在实际应用中，收集大量有效的预案文本数据并非易事，通常需要拆分多份预案文本，这种做法会严重破坏文本原有结构。且当数据量匮乏时，PLM在训练过程中容易出现过拟合和灾难性遗忘等问题^[9]，进而导致关键信息丢失。

鉴于此，笔者拟从挖掘训练文本的语义知识出发，改进提示微调(Prompt Tuning，PT)策略，解决少样本下的应急预案关系抽取问题。首先，分解关系语义知识，在提示模板中注入先验关系语义，以强化模型对关系抽取任务的理解；然后，采用边界损失函数结构化约束三元组中的关系标签预测，使PLM学习应急领域下的特定依赖关系；最后，引入无梯度应急知识存储机制，利用K最近邻算法(k-Nearest Neighbor，KNN)^[15]进行知识查询，以抵消模型在学习过程中产生的知识损耗，进一步优化模型性能，以期为应急救援人员在明确责任分工、检索应急知识和协调部门联动等任务中提供辅助决策。

1 文本关系抽取及PT方法的任务定义

收起

1.1 文本关系抽取

关系抽取任务旨在根据非结构化文本的上下文语境，确定文本中实体对(头实体和尾实体)之间的关系类别。关系抽取数据集通常由2部分组成

D = {X ， Y}

，其中，

X

是非结构化文本数据集，

Y

是该文本中实体对所对应的关系标签集。对于每个实例

x = {w 1 ， w 2 ， w 3 ， … ， w s ， … ， w o ， … ， w n} ， x ∈ X

，n为文本长度，关系抽取的目标是预测头实体

w s

和尾实体

w o

之间的关系y，y∈

Y (w s

和

w o

可能以多个字符构成，由命名实体识别任务所提供)。

1.2 PT

PLM通常采用掩码预测的方式进行模型训练。如掩码语言模型使用掩码标记符[MASK]，随机替换掉训练文本中的某些片段，利用模型预测被掩盖的文本信息。通过在大量文本上进行训练，模型可学习到非结构化文本中的统计规律和语义表示，有效提升处理各种自然语言任务的性能。PT遵循掩码语言模型的训练原则，通过构造一个包含[MASK]标记的提示文本片段(即模板)，与原始输入拼接重构为新的输入，将抽取任务转换为与PLM相匹配的掩码预测任务，有效减小两者任务之间的差距，降低模型损失。整个PT主要包含以下流程：设计提示模板Γ(·)，构造标签映射空间

V

，拼接输入文本

x

与模板得到提示输入

X = Γ (x) ，

使用PLM预测

X

中的[MASK]标记，并利用标签映射ξ:V→Y，将预测结果映射至所需的标签空间，得到真实输出。

2 知识提示下应急预案关系抽取模型

收起

针对PT技术特点，分别改进提示模板生成和标签映射2个阶段，提出适用于应急预案少样本的KMKP关系抽取模型(KNN relationship extraction Model based on Knowledge Prompts，KMKP)。KMKP整体架构主要分为3个步骤，模型框架如图1所示。

2.1 融入关系语义知识提示模板构建

PT的提示模板通常采用人工构建或自动生成方式完成。为降低人工构建的复杂性和粗糙性，自动生成方式利用实体名称、实体跨度和实体类型对模型性能的显著影响，提升关系抽取效果^[10]。ZHOW Wenxuan等^[11]提出Type Marker的方法，通过引入实体的类型信息来提升模型性能。但该方法需要额外注释数据集信息，增加人力成本。针对该问题，提出一种关系标签分解方法，通过构建可学习的实体类型标记([sub]和[obj])来代替人工注释操作。如关系标签担任，显然匹配该关系的头实体类型为部门成员(人)，匹配该关系的尾实体类型为岗位。通过分解有限的关系标签，可达到数据增强的效果，显著提升少样本下的模型性能^[12]。与Maskgan^[25]、合成少数类过采样技术(Synthetic Minority Over-sampling Technique，SMOTE)、GE3(Good-enough Example Extrapolation)^[26]等常规数据增强方式不同，文中方法(KMKP)不需要额外生成训练数据，避免过拟合和模型训练时间增长等问题。相关数据增强方法对比分析见表1。

根据应急预案编制标准和关系标签类别，将实体类型分解为指挥体系、职责部门、工作组、职责内容、岗位和部门成员6类。关系标签分解情况见表2。

实体类型标记采用实体类型的先验概率分布p和其对应的词向量共同决定它们的初始化词向量。以表2为例，5种关系标签共分解出13个包含重复的实体类型，p(职责部门)为职责部门出现在13个实体类型中的频率，即p(职责部门)=4/13，以此类推其他5类实体类型的先验概率。实体类型的词向量由其映射的实体在训练数据中出现的次数来确定，记为

e^i_10

。具体来说，是选取出现次数排名前10的实体映射对象，取其词嵌入均值作为实体类型的初始化词向量，如下式。以此代替词向量的随机初始化，使得初始化结果更接近全局最优解，可有效缩短模型训练优化时间，提高训练效率。

(1)

e^i_10 = 1 n ∑ E (C (i) j)

(2)

e^s = 1 n ∑ p · e^i_10 ， i ∈ C s

(3)

e o = 1 n ∑ p · e i 10 ， i ∈ C o

式中：

E (·)

为PLM的词嵌入层；

C (i) j

为实体类型i的第j个映射对象，

i ∈

(指挥体系、职责部门、工作组、职责内容、岗位、部门成员)，

j ∈ (1，10)

;

e^i_10 为 实

体类型i的初始化词嵌入值；p为实体类型i出现的概率分布，由关系标签分解得到；

e^s ， e^o

分别为头、尾实体类型标记，可在模型训练中不断学习上下文信息。

提示模板采取简单、高效的构建方式，通过拼接影响抽取性能的知识信息，完成提示模板的构建，如下式：

(4)

Γ (w s ， w o) = ([s u b] ， w s ， [s u b] ， [M A S K] ， [o b j] ， w o ， [o b j])

得到模型的新输入为

X = [x ， Γ (w s ， w o)]

。

2.2 训练优化及预测

在少样本的关系抽取任务中，数据匮乏易导致模型过度拟合训练数据，降低数据有效性^[13]。考虑到实体和关系标签之间存在较强的语义关联，关系抽取任务的校验可近似为知识图谱链接预测任务：

r ≈ w o - w s

。通过随机负采样的方法构建负例三元组，利用边界损失函数作为目标优化模型训练，实现对关系标签预测的结构化约束。其中，以

(w s ， r ， w o)

表示正例三元组，

(w' s ， r ， w' o)

表示负例三元组，基于边界的损失函数如下式：

(5)

d r (w s ， w o) = ‖ H w s + r - H w o ‖ L 2

(6)

L' = ▽ [d r (w s ， w o) + γ - d r (w' s ， w' o)]

式中：

r

为

Y

中的关系标签；

H

为PLM输出隐藏层的词嵌入；L₂为第二范数欧氏距离；

γ

为边界值。因此，优化后的损失函数为：

(7)

L = C E y' m ， y + β L'

式中：

β

为超参数；

y' m

为

X

中[MASK]的预测概率分布；

C E (·)

为交叉熵损失函数。

根据式(4)，将训练集D中所有实例文本转换为新的输入

X

，并利用PLM预测

X

中的[MASK]，得到所有的概率分布

y' m

。

2.3 基于无梯度范式矫正的标签词映射

PT通常采用文本挖掘的方法实现标签映射，该过程依赖于词表搜索的计算复杂度，复杂的搜索过程使得模型的算力需求大、计算耗时长^[14]。KNN^[15]作为一种简单高效的机器学习算法，目前广泛应用于深度学习的各个领域^[16-17]。研究人员通过构建数据库，利用KNN算法实现无需重复计算的最近邻搜索模块，提高对少样本任务的处理能力。

区别于常规的标签词映射，KMKP直接将

y' m

在整个词表上的概率分布与对应关系标签

y i

组合，构建无梯度知识存储库：

(8)

D' = (k i d ， y i) = [y' m ， y i]

式中：

D'

为所有训练数据D经过微调PLM处理后的无梯度知识存储数据库，由

k i d

与对应关系标签

y i

构成的键值对

(k i d ， y i)

所构成，供后续标签映射时使用；

k i d

为训练集D中第i条实例文本经过PLM后的概率分布

y' m

。

采用欧氏距离计算

k j t

与

k i d

的相似度，在

D'

中找出k个最近邻的标签

y i

。若

y i

与测试文本关系标签一致，即预测为真。否则将一定权重比例下的

k i d

作为矫正因子与

k j t

进行叠加，从而矫正标签映射结果：

(9)

P (y | X) = k j t + ∑ λ n (k d [m i n k (d (k j t ， k i d))])

式中：

k j t

为采用测试集T中第j条实例文本经过PLM后的概率分布

y' m

;

k d [m i n k (d (·))

为与训练数据最接近的k条实例数据的

y' m

。

3 应急预案文本关系抽取试验

收起

3.1 非结构化文本数据集选取

为进一步验证KMKP模型的有效性及鲁棒性，试验首先在公开数据集上进行验证。由于缺乏应急预案相关的公开数据集，因此，以关系标签数量为依据进行筛选，分别选择2个中文数据集和2个英文数据集。中文：人物关系抽取数据集，CCL2022(China National Conference on Computational Linguistics2022)^[20];英文：SemEval 2010 Task 8 (SemEval)^[18]，TACRED (Text Analysis Conference Relation Extraction Dataset)^[19]。再在少样本下的应急预案文本中进行测试，采用专家校验的方式进行结果评估。数据集的详细信息见表3。

3.2 试验设置

为评估KMKP在不同资源条件下的性能，分别进行包含全部数据的标准测试以及在1-shot、8-shot、16-shot场景下的少样本测试，以模拟少样本应急预案文本的实际场景。选择Fine-Tuning、R-BERT(Bidirectional Encoder Representations from Transformers)^[21]、GDPNet (Gaussian Dynamic Time Warping Pooling Net)^[22]、PTR(Prompt Tuning with Rules for Text Classification)^[23]、KnowPrompt(Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction)^[24]作为基线模型完成对比试验，分析微调与PT之间的差别，判断知识提示对模型理解关系语义的作用。通过3次随机采样，以均值衡量模型的性能表现。

1) 试验评价指标。选用关系抽取中常用的评价指标，主要采用精准率P、召回率R、F₁值和准确率A来评价结果。其中，F₁值为精准率P和召回率R的加权调和平均值，可有效评估模型精确率和召回率的整体表现，如下式：

(10)

P = T P T P + F P

(11)

R = T P T P + F N

(12)

F 1 = 2 P R P + R

(13)

A = T P + T N T P + T N + F N + F P

式中：TP为预测为正且实际为正的样本数；FP为预测为正且实际为负的样本数；TN为预测为负且实际为负的样本数；FN为预测为负且实际为正的样本数。

2) 试验环境及超参数设置。环境配置如下：Python3.8+PyTorch框架，Cuda11.1，CPU为Intel(R) Xeon(R) Silver 4210R，GPU为NVIDIA GeForce RTX 4090。模型超参数设置见表4。

3.3 结果分析

1) 标准结果。标准设置下的试验结果对比见表5。对比Fine-Tuning、R-BERT和PTR发现，R-BERT通过添加特殊标记符增强模型的实体识别能力，利用实体信息改善模型对实体间关系特征的捕捉，提升模型性能。PTR采用特定的离散提示模板，将关系类别间的先验知识转化为具有明确语义的提示规则，强化实体与关系间的语义连接。与R-BERT相比，PT方法引入[MASK]标记代替传统的token平均方法，减少token引入的误差累积，精准引导模型关注任务的关键信息。这一结果表明：合理运用实体信息、挖掘关系中的隐藏知识进行数据增强，并利用PT进行引导，可有效增强模型性能。KMKP在除CCL2022外的所有基线上都实现了改进，对比微调和PT中最佳模型，F₁值平均提升1.1%。

2) 少样本结果。少样本设置下的试验结果对比见表6。知识相结合的PT方法(KnowPrompt和KMKP)能更好地关注到少样本数据中的关键知识信息，克服灾难性遗忘。在除CCL2022外的数据集上，KnowPrompt和KMKP的性能始终优于其他方法。值得注意的是，在1-shot数据资源极低的情况下，KMKP比KnowPrompt平均提升2.1%。这表明：在资源极低的环境下，模型学习知识的随机性更强，利用无梯度知识矫正可抵消模型学习中带来的部分知识损耗。但随着训练数据不断增加，PT和微调的性能差距逐渐缩小，说明模型在足够的数据中学习到了更全面的语义特征，知识微调的方法带来的收益逐渐降低。

3) 针对CCL2022的结果分析。长尾类型数据的试验结果对比见表7。面对长尾类型数据(15∶1)，传统的微调模型将更多的注意力集中于数据量丰富的类别标签上，导致模型预测结果更偏向于这类标签。虽然整体F₁值较高，但是模型并未深刻理解长尾数据，面对数据量匮乏的类别标签召回率较低，预测结果较差。相比之下，KMKP对数据量匮乏的关系标签(性能故障)预测结果更好，F₁值相较于对比模型中最佳结果分别提升4.15%、1.24%、1.26%和0.03%，证明了KMKP在长尾数据中的有效性。

3.4 消融试验及参数敏感度分析

1) 消融试验。为探究知识提示对模型的影响效果，在SemEval数据集16-shot场景下完成消融试验，结果见表8。当去除边界损失函数优化模型时，F₁值下降1.9%，这表明：PLM无法直接利用实体和关系之间的关联关系，而结构化约束可更好地促进模型学习实体类型标记与[MASK]之间的关联关系。当去除可学习实体类型标记时，对模型的影响最为显著，F₁值下降7.8%，说明将关系标签中所蕴含的语义知识注入输入文本，能够促进PLM理解实体间的关系。

无梯度范式矫正模块可加入支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest，RF)等机器学习分类方法形成变体，共有3种形式：①无梯度范式矫正(SVM)，将KNN分类换为SVM;②无梯度范式矫正(RF)，将KNN分类换为RF;③去除矫正模块，该模型被降级为常规提示调优的关系抽取模型。通过对比可发现不同方法在模块中的表现差异。

由表8可知：无梯度范式矫正(SVM)与KNN效果相当，但为提高SVM分类准确性，核函数采用3项多项式，其计算复杂度远高于KNN。无梯度范式矫正(RF)F₁值下降1.4%，主要原因是RF在16-shot少样本下，随机性受限，难以涵盖数据的所有特征，影响模型的学习和泛化能力，导致结果不佳。

2) 参数敏感度分析。为深入探索各模块超参数，如

λ

(知识查询矫正因子权重系数)、

β

(边界损失函数权重系数)和

k

(最近邻的实例数据量)对试验结果的影响，在SemEval数据集16-shot场景下进行测试。结果如图2所示。

从图2a中可以看出，适当的知识查询能显著矫正模型的预测偏差，在

λ

取0.3时效果最佳。但随着

λ

不断增加，模型预测被过度影响，导致混淆。

从图2b中可以看出，边界损失函数通过惩罚虚假预测与真实边界之间的差异，鼓励模型生成更精确的边界。但随着

β

持续增大，模型可能会过度关注边界信息，忽视整体目标区域，从而导致交叉熵损失函数的惩罚失效。其中，

β

设置为0.05时，模型获得最佳约束效果。

从图2c中可以看出，随着k的增加，模型性能逐步提升并趋于稳定。当k=8时，模型几乎达到最大效益。这表明高相似度的检索实例能够为模型提供更有效的矫正信息，而随着相似度的降低，这种影响逐渐减弱。

3) 各模型在不同shot场景下的对比试验(均值)。随着训练样本数量(shot数)的增加，所有模型性能均有提升，这表明：增加训练数据量可有效提升模型抽取效果，且在16-shot到32-shot时训练模型有较高的收益，如图3所示。

3.5 案例研究

为验证KMKP在少样本应急预案文本中的有效性，选取《某市生产安全事故应急预案》为案例进行测试。采用人工方式标注每条数据的实体信息及关系类别，获取有效预案文本数据167条。在16-shot下进行关系抽取，准确率可达到91.02%，对比结果如图4所示。试验结果表明：KMKP在少样本应急预案数据中抽取效果更为理想，且在16-shot之后，数据量增加对模型性能的提升逐渐减弱。

基于所提出的少样本应急预案关系抽取方法，结合自顶向下的构建方式，通过Neo4j实现应急预案知识图谱的可视化，如图5所示。

用户可使用Cypher语句查询图谱中预案流程、职责信息等内容。例如：在应急响应阶段，用户通过查询语句“MATCH (a {stage: '应急响应阶段'})-[*]->(b:现场指挥部)”，快速获取与现场指挥部相关的组织架构、职责关系和职责内容，如图6所示。

4 结论

收起

1) 通过关系标签分解的方法，将关系语义融入提示模板，可有效提升模型输入的语义表示。

2) 构建无梯度知识存储库，该存储库可有效降低因反复查询提示所增加的模型计算成本，充分利用每条训练数据所提供的知识信息，缓解模型在少样本情况下灾难性遗忘的问题，使得模型在处理少样本和长尾数据时更具优势。

3) 在公开数据集上开展对比试验，验证所提方法的有效性。试验结果证明KMKP模型具备良好的泛化能力，而且，证明其在关系抽取领域内的应用潜力，突显该方法在处理少样本抽取任务中的实际价值和广泛适用性。

4) 文中研究聚焦于知识提示下少样本的应急预案关系抽取，未深入探讨实体识别问题，未来研究可在少样本环境中进一步探索实体与关系联合抽取的方向。

基金

收起

科技部重大专项(2020AAA0109302)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

高光涵. 总体应急预案的府际差异与量化评价:基于29个省级预案文本的比较分析[J]. 北京工业大学学报:社会利学版, 2023, 23(6):113-128.

GAO

Guanghan

. Differences and quantitative evaluation of intergovernmental overall emergency plans-comparative analysis based on the texts of 29 provincial plan[J]. Journal of Beijing University of Technology: Social Sciences Edition, 2023, 23(6):113-128.

[2]

冯双剑, 李尧远. 应急管理学科建设调查分析及建议[J]. 中国应急管理, 2022(8):66-77.

[3]

杨继星, 房玉东, 边路, 等. 应急救援数字化战场体系研究与应用探索[J]. 中国安全科学学报, 2023, 33(10):240-246.

YANG

Jixing

, FANG

Yudong

, BIAN

, et al. Research and application exploration of digital battlefield system for emergency rescue[J]. China Safety Science Journal, 2023, 33(10):240-246.

[4]

宋敦江, 杨霖, 钟少波. 基于BERT的灾害三元组信息抽取优化研究[J]. 中国安全科学学报, 2022, 32(2):115-120.

SONG

Dunjiang

, YANG

Lin

, ZHONG

Shaobo

. Research on optimization of disaster triplet information extraction based on BERT[J]. China Safety Science Journal, 2022, 32(2):115-120.

[5]

王浩畅, 刘如意. 基于预训练模型的关系抽取研究综述[J]. 计算机与现代化, 2023(1):49-57,94.

WANG

Haochang

, LIU

Ruyi

. Review of relation extraction based on pre-training language model[J]. Computer and Modernization, 2023(1):49-57,94.

[6]

WANG

Lihu

, LIU

Xuemei

, LIU

Yang

, et al. Emergency entity relationship extraction for water diversion project based on pre-trained model and multi-featured graph convolutional network[J]. Plos One, 2023, 18(10):DOI: 10.1371/journal.pone.0292004.

[7]

许娜, 梁燕翔, 王亮, 等. 基于知识图谱的煤矿建设安全领域知识管理研究[J]. 中国安全科学学报, 2024, 34(5):28-35.

, LIANG

Yanxiang

, WANG

Liang

, et al. Research on knowledge management in coal mine construction safety field based on knowledge graph[J]. China Safety Science Journal, 2024, 34(5):28-35.

[8]

LIU

Xuemei

, LU

Hankang

, LI

Hairui

. Intelligent generation method of emergency plan for hydraulic engineering based on knowledge graph:take the south-to-north water diversion project as an example[J]. LHB-hydroscience Journal, 2022, 108(1):DOI: 10.1080/27678490.2022.2153629.

[9]

BELKIN

, HSU

, MA

Siyuan

, et al. Reconciling modern machine-learning practice and the classical bias-variance trade-off[J]. Proceedings of the National Academy of Sciences, 2019, 116(32):15849-15 854.

[10]

PENG

Hao

, GAO

Tianyu

, HAN

, et al. Learning from context or names? an empirical study on neural relation extraction[C]. the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020:3661-3672.

[11]

ZHOW

Wenxuan

, CHEN

Muhao

. An improved baseline for sentence-level relation extraction[C]. the 2^nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12^th International Joint Conference on Natural Language Processing (Volume 2:Short Papers),2022:161-168.

[12]

LIU

Junbao

, QIN

Xizhong

, MA

Xiaoqin

, et al. FREDA: few-shot relation extraction based on data augmentation[J]. Applied Sciences, 2023, 13(14):DOI: 10.3390/app13148312.

[13]

NASAR

, JAFFRY

S W

, MALIK

M K

. Named entity recognition and relation extraction: state-of-the-art[J]. ACM Computing Surveys (CSUR), 2021, 54(1):1-39.

[14]

SHIN

, RAZEGHI

, LOGAN

R L

, et al. Autoprompt: eliciting knowledge from language models with automatically generated prompts[C]. the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP),2020:4222-4235.

[15]

PETERSON

L E

. K-nearest neighbor[J]. Scholarpedia, 2009, 4(2):DOI: 10.4249/scholarpedia.1883.

[16]

Benfeng

, WANG

Quan

, MAO

Zhendong

, et al. kNN prompting: beyond-context learning with calibration-free nearest neighbor inference[C]. the 11^th International Conference on Learning Representations,2023: 1-24.

[17]

HUANG

Anzhong

, XU

Rui

, CHEN

, et al. Research on multi-label user classification of social media based on ML-KNN algorithm[J]. Technological Forecasting and Social Change, 2023,188:DOI: 10.1016/j.techfore.2022.122271.

[18]

HENDRICKX

, KIM

S N

, KOZAREVA

, et al. Semeval-2010 task 8: multi-way classification of semantic relations between pairs of nominals[C]. the 5^th International Workshop on Semantic Evaluation, 2010:33-38.

[19]

ZHANG

Yuhao

, ZHONG

Victor

, CHEN

Danqi

, et al. Position-aware attention and supervised data improve slot filling[C]. Conference on Empirical Methods in Natural Language Processing, 2017:35-45.

[20]

黄子麒, 胡建鹏. 实体类别增强的汽车领域嵌套命名实体识别[J]. 计算机应用, 2024, 44(2):377-384.

HUANG

Ziqi

, HU

Jianpeng

. Entity category enhanced nested named entity recognition in automotive domain[J]. Journal of Computer Applications, 2024, 44(2):377-384.

[21]

Shanchan

, HE

Yifan

. Enriching pre-trained language model with entity information for relation classification[C]. the 28^th ACM International Conference on Information and Knowledge Management,2019:2361-2364.

[22]

XUE

Fuzhao

, SUN

Aixin

, ZHANG

Hao

, et al. Gdpnet: refining latent multi-view graph for relation extraction[C]. the AAAI Conference on Artificial Intelligence,2021:DOI: 10.48550/arXiv.2012.06780.

[23]

HAN

, ZHAO

Weilin

, DING

Ning

, et al. Ptr: prompt tuning with rules for text classification[J]. AI Open, 2022, 3:182-192.

[24]

CHEN

Xiang

, ZHANG

Ningyu

, XIE

Xin

, et al. Knowprompt: knowledge-aware prompt-tuning with synergistic optimization for relation extraction[C]. the ACM Web Conference 2022:2778-2788.

[25]

FEDUS

, GOODFELLOW

, DAI

A M

. Maskgan: better text generation via filling in the[C]. International Conference on Learning Representations, 2018:1-17.

[26]

WEI

. Good-enough example extrapolation[C]. the 2021 Conference on Empirical Methods in Natural Language Processing,2021:5923-5929.

[27]

周义棋, 刘畅, 龙增, 等. 电网应急预案知识图谱构建方法与应用[J]. 中国安全生产科学技术, 2023, 19(1):5-13.

ZHOU

Yiqi

, LIU

Chang

, LONG

Zeng

, et al. Construction method and application of knowledge graph in emergency plans for power grid[J]. Journal of Safety Science and Technology, 2023, 19(1):5-13.

2024年第34卷第12期

PDF下载

444

195

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.12.0308

接收时间：2024-07-15
首发时间：2025-07-09
出版时间：2024-12-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-07-15
修回日期：2024-09-22

基金

科技部重大专项(2020AAA0109302)

作者信息

¹ 上海工程技术大学电子电气工程学院，上海 201620

² 上海市安全生产科学研究所科技研发室，上海 201620

通讯作者:

**陈强(1965—)，男，湖北荆门人，博士(后)，教授，主要从事软件工程、地球探测与信息技术和机器学习等方面的研究。E-mail：sues_chen@sues.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.12.0308

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

方法	超参数复杂度	计算复杂度	训练时间复杂度	可解释性
Maskgan	高	极高	极高	弱
SMOTE	低	低	中	弱
GE3	无	低	中	弱
KMKP	无	低	低	强

方法

超参数
复杂度

计算
复杂度

训练时间
复杂度

可解
释性

Maskgan

高

极高

弱

SMOTE

低

中

弱

GE3

无

低

中

弱

KMKP

无

低

强

实例	关系标签	头实体类型	尾实体类型	实体类型先验概率分布p
企业将有关情况报告人民政府	上下级	职责部门	职责部门	p(职责部门)=4/13 p(指挥体系)=2/13 p(工作组)=3/13 p(岗位)=1/13 p(职责部门)=2/13 p(职责内容)=1/13
现场指挥部下设综合组、抢险救援组…	设立	指挥体系	工作组/岗位
市政府分管副市长担任现场指挥部指挥长	担任	部门成员	岗位
市较大生产安全事故应急指挥部成员单位由市委宣传部、市发改委等单位组成	组成单位	指挥体系/工作组	职责部门
市消防救援支队参与事故应急救援和处置工作	执行	职责部门/工作组	职责内容

实例

关系标签

头实体类型

尾实体类型

实体类型先验概率分布p

企业将有关情况报告人民政府

上下级

职责部门

p(职责部门)=4/13
p(指挥体系)=2/13
p(工作组)=3/13
p(岗位)=1/13
p(职责部门)=2/13
p(职责内容)=1/13

现场指挥部下设综合组、抢险救援组…

设立

指挥体系

工作组/岗位

市政府分管副市长担任现场指挥部指挥长

担任

部门成员

岗位

市较大生产安全事故应急指挥部成员
单位由市委宣传部、市发改委等单位组成

组成单位

指挥体系/工作组

职责部门

市消防救援支队参与事故应急救援和处置工作

执行

职责部门/工作组

职责内容

数据集	train	vel	test	label
中文	CCL2022	2 399	300	301	2
人物关系抽取	10 000	1 000	1 000	12
英文	SemEval	6 507	1 493	2 717	19
TACRED	68 124	22 631	15 509	42

数据集

train

vel

test

label

中文

CCL2022

2 399

300

301

人物关系抽取

10 000

1 000

英文

SemEval

6 507

1 493

2 717

TACRED

68 124

22 631

15 509

参数	名称	取值
PLM	PLM	中文：roberta-chinese-large 英文：roberta-large
batch_size	训练批次	8
epoch	训练轮次	30
lr	学习率	5e-5
max_length	最大文本长度	256
optimizer	优化器	AdamW
t_beta	边界损失函数权重	0.05
knn_topk	KNN实例数据量	8
knn_lambda	矫正因子权重	0.3
gamma	边界值	1

参数

名称

取值

PLM

中文：roberta-chinese-large
英文：roberta-large

batch_size

训练批次

epoch

训练轮次

学习率

5e-5

max_length

最大文本长度

256

optimizer

优化器

AdamW

t_beta

边界损失函数权重

0.05

knn_topk

KNN实例数据量

knn_lambda

矫正因子权重

0.3

gamma

边界值

模型	中文	英文	均值
PLM	Fine-Tuning	72.0	99.7	87.6	68.7	82.0
R-BERT	73.1	99.3	89.3	69.4	82.8
GDPNet	74.7	98.6	88.7	71.5	83.4
PT 预训练模型	PTR	—	—	89.9	72.4	—
KnowPrompt	79.7	99.3	90.2	72.4	85.4
KMKP	83.2 (+3.5)	99.6 (-0.1)	90.5 (+0.3)	72.8 (+0.4)	86.5 (+1.1)

模型

中文

英文

均值

人物关系抽取

CCL2022

SemEval

TACRED

PLM

Fine-Tuning

72.0

99.7

87.6

68.7

82.0

R-BERT

73.1

99.3

89.3

69.4

82.8

GDPNet

74.7

98.6

88.7

71.5

83.4

PT
预训练模型

PTR

—

89.9

72.4

—

KnowPrompt

79.7

99.3

90.2

72.4

85.4

KMKP

83.2 (+3.5)

99.6 (-0.1)

90.5 (+0.3)

72.8 (+0.4)

86.5 (+1.1)

样本数量	模型	中文	英文	均值
1	Fine-Tuning	15.5	73.9	18.7	7.5	28.9
R-BERT	19.0	64.0	22.4	10.1	28.9
KnowPrompt	22.7	65.6	29.1	17.8	33.8
KMKP	23.9(+1.2)	67.1(-6.8)	31.7(+2.6)	20.8(+3.0)	35.9(+2.1)
8	Fine-Tuning	28.1	78.3	40.9	12.3	39.9
R-BERT	31.3	87.6	45.1	14.8	44.7
KnowPrompt	33.1	71.5	74.1	32.3	52.8
KMKP	34.9(+1.8)	75.3(-12.3)	79.5(+5.4)	32.7(+0.4)	55.6(+2.8)
16	Fine-Tuning	34.2	90.0	65.4	21.2	52.7
R-BERT	37.3	86.8	67.7	23.9	53.9
KnowPrompt	40.2	79.5	81.5	35.1	59.1
KMKP	41.5(+1.3)	81.8(-8.2)	83.1(+1.6)	37.4(+2.3)	61.0(+1.9)

样本数量

模型

中文

英文

均值

人物关系抽取

CCL2022

SemEval

TACRED

Fine-Tuning

15.5

73.9

18.7

7.5

28.9

R-BERT

19.0

64.0

22.4

10.1

28.9

KnowPrompt

22.7

65.6

29.1

17.8

33.8

KMKP

23.9(+1.2)

67.1(-6.8)

31.7(+2.6)

20.8(+3.0)

35.9(+2.1)

Fine-Tuning

28.1

78.3

40.9

12.3

39.9

R-BERT

31.3

87.6

45.1

14.8

44.7

KnowPrompt

33.1

71.5

74.1

32.3

52.8

KMKP

34.9(+1.8)

75.3(-12.3)

79.5(+5.4)

32.7(+0.4)

55.6(+2.8)

Fine-Tuning

34.2

90.0

65.4

21.2

52.7

R-BERT

37.3

86.8

67.7

23.9

53.9

KnowPrompt

40.2

79.5

81.5

35.1

59.1

KMKP

41.5(+1.3)

81.8(-8.2)

83.1(+1.6)

37.4(+2.3)

61.0(+1.9)

模型	k=1	k=8	k=16	k=full
Fine-Tuning	77.73	19.05	73.91	82.72	14.29	78.26	95.31	13.33	89.97	99.85	97.27	99.65
R-BERT	66.99	20.93	63.99	93.00	17.00	87.60	92.00	15.00	86.76	99.64	94.44	99.30
KnowPrompt	69.75	48.97	65.57	77.51	64.88	71.54	92.89	77.91	79.49	99.63	94.74	99.32
KMKP	72.73	53.12	67.13	79.31	66.12	75.26	93.14	79.17	81.83	99.82	97.30	99.64

模型

k=1

k=8

k=16

k=full

部件
故障

性能
故障

总分

部件
故障

性能
故障

总分

部件
故障

性能
故障

总分

部件
故障

性能
故障

总分

Fine-Tuning

77.73

19.05

73.91

82.72

14.29

78.26

95.31

13.33

89.97

99.85

97.27

99.65

R-BERT

66.99

20.93

63.99

93.00

17.00

87.60

92.00

15.00

86.76

99.64

94.44

99.30

KnowPrompt

69.75

48.97

65.57

77.51

64.88

71.54

92.89

77.91

79.49

99.63

94.74

99.32

KMKP

72.73

53.12

67.13

79.31

66.12

75.26

93.14

79.17

81.83

99.82

97.30

99.64

模型	P	R	F₁
KMKP	83.4	82.8	83.1
关系语义及结构化约束模块	-边界损失函数	82.1	80.3	81.2
-可学习类型标记	74.9	75.7	75.3
无梯度范式矫正模块	无梯度范式矫正(SVM)	81.9	84.1	83.0
无梯度范式矫正(RF)	82.4	81.0	81.7
-无梯度范式矫正	84.3	81.4	82.8

模型

F₁

KMKP

83.4

82.8

83.1

关系语义及结
构化约束模块

-边界损失函数

82.1

80.3

81.2

-可学习类型标记

74.9

75.7

75.3

无梯度范
式矫正模块

无梯度范式矫正(SVM)

81.9

84.1

83.0

无梯度范式矫正(RF)

82.4

81.0

81.7

-无梯度范式矫正

84.3

81.4

82.8