科技导报

研究框架	优势	不足
Rauh等^[6]	从模态、风险和上下文3个“评估差距”系统梳理了GAI现有安全评估方法	聚焦于风险评估，对防御措施的探讨相对薄弱
Yao等^[8]	全面展现了LLM的正面应用与负面风险，系统梳理了多种攻击类型及其防御方法	对衍生安全的讨论较少，仅在未来工作中提及
Huang等^[9]	从验证与确认的角度全面探讨了LLM的安全性和可信性问题	对衍生安全的讨论略显零散，未构建系统分析框架
Yan等^[12]	聚焦隐私保护与隐私性攻击和防御，结构清晰，安全研究具有前瞻性	对衍生安全的讨论较少，仅在相关工作中提及
Liu等^[13]	提供了深入的隐私攻防技术剖析，对GAI的隐私问题做了系统性总结	缺乏在衍生方面的隐私安全分析，如身份安全、认识安全等
满超等^[10]	以治理/政策为主线，提供了独特的宏观治理与政策视角，与纯技术综述形成互补	对技术性安全问题的讨论不足，如后门攻击、对抗攻击等
全国网络安全标准化技术委员会^[11]	作为标准/框架文件强调原则与治理，专题化概述人工智能安全风险及应对措施	对攻击和防御的技术性分析不足，如幻觉检测、隐私泄露等
Sun等^[7]	聚焦中文场景，为中文LLM提供一个安全评估基准	缺乏技术性细节以及对衍生安全方面的讨论
本文框架	宏观概述GAI在全生命周期中的主要安全挑战和防御举措	宏观的概述牺牲了对单一主题的细致探讨

研究框架	优势	不足
Rauh等^[6]	从模态、风险和上下文3个“评估差距”系统梳理了GAI现有安全评估方法	聚焦于风险评估，对防御措施的探讨相对薄弱
Yao等^[8]	全面展现了LLM的正面应用与负面风险，系统梳理了多种攻击类型及其防御方法	对衍生安全的讨论较少，仅在未来工作中提及
Huang等^[9]	从验证与确认的角度全面探讨了LLM的安全性和可信性问题	对衍生安全的讨论略显零散，未构建系统分析框架
Yan等^[12]	聚焦隐私保护与隐私性攻击和防御，结构清晰，安全研究具有前瞻性	对衍生安全的讨论较少，仅在相关工作中提及
Liu等^[13]	提供了深入的隐私攻防技术剖析，对GAI的隐私问题做了系统性总结	缺乏在衍生方面的隐私安全分析，如身份安全、认识安全等
满超等^[10]	以治理/政策为主线，提供了独特的宏观治理与政策视角，与纯技术综述形成互补	对技术性安全问题的讨论不足，如后门攻击、对抗攻击等
全国网络安全标准化技术委员会^[11]	作为标准/框架文件强调原则与治理，专题化概述人工智能安全风险及应对措施	对攻击和防御的技术性分析不足，如幻觉检测、隐私泄露等
Sun等^[7]	聚焦中文场景，为中文LLM提供一个安全评估基准	缺乏技术性细节以及对衍生安全方面的讨论
本文框架	宏观概述GAI在全生命周期中的主要安全挑战和防御举措	宏观的概述牺牲了对单一主题的细致探讨

威胁层面	安全风险	攻击手段/方法	攻击目标
数据	隐私泄露	成员推理、属性推理等	从模型行为反推训练集中的敏感信息
数据偏见	数据偏差等	模型产生系统性、非预期的不公平决策
数据投毒	后门攻击、标签翻转等	破坏模型完整性，植入特定错误行为
算法	微调攻击	恶意样本微调等	污染或覆盖预训练知识，操控模型行为
欺骗对齐	隐藏真实目标等	模型在训练中伪装对齐，部署后出现错误输出

威胁层面	安全风险	攻击手段/方法	攻击目标
数据	隐私泄露	成员推理、属性推理等	从模型行为反推训练集中的敏感信息
数据偏见	数据偏差等	模型产生系统性、非预期的不公平决策
数据投毒	后门攻击、标签翻转等	破坏模型完整性，植入特定错误行为
算法	微调攻击	恶意样本微调等	污染或覆盖预训练知识，操控模型行为
欺骗对齐	隐藏真实目标等	模型在训练中伪装对齐，部署后出现错误输出

防御目标	防御方法	优点		缺点		适用范围
隐私泄露	差分隐私	数学基础、效果好		引入的噪声可能会导致生成内容质量降低		对数据脱敏，适用医疗等隐私敏感场景
知识遗忘	无须重新训练即可删除有害知识		难以确保知识被永久遗忘，遗忘效果验证复杂		修正模型以剔除错误和隐私数据
数据偏见	偏见识别	有效识别隐含偏见		识别的时效性差，且依赖先验知识进行识别		去除训练数据中偏见信息
数据投毒	数据清洗	易操作、效果好		面对海量数据时，成本较高且可能引入偏见		对抗简单的数据投毒，基础防线
拒绝训练	降低内容的有害性		容易被新的攻击方法绕过，需要适应新的攻击手段		可用于安全对齐，适用合法合规敏感场景
微调攻击	反微调训练	抵御微调攻击并保持性能表现		模型过于谨慎，可能导致模型通用性降低		对抗提示词注入攻击，避免模型被恶意微调
AI幻觉	幻觉检测	提升内容真实性		检测依赖定义好的事实，可能对新知识不敏感		适用于提升答案真实性
虚假内容	知识编辑	确保数据真实且时效性扩展性好		编辑的局部性难以保证，新知识可能会影响关联的旧知识，导致生成内容质量降低		适用真实性、时效性敏感任务

防御目标	防御方法	优点		缺点		适用范围
隐私泄露	差分隐私	数学基础、效果好		引入的噪声可能会导致生成内容质量降低		对数据脱敏，适用医疗等隐私敏感场景
知识遗忘	无须重新训练即可删除有害知识		难以确保知识被永久遗忘，遗忘效果验证复杂		修正模型以剔除错误和隐私数据
数据偏见	偏见识别	有效识别隐含偏见		识别的时效性差，且依赖先验知识进行识别		去除训练数据中偏见信息
数据投毒	数据清洗	易操作、效果好		面对海量数据时，成本较高且可能引入偏见		对抗简单的数据投毒，基础防线
拒绝训练	降低内容的有害性		容易被新的攻击方法绕过，需要适应新的攻击手段		可用于安全对齐，适用合法合规敏感场景
微调攻击	反微调训练	抵御微调攻击并保持性能表现		模型过于谨慎，可能导致模型通用性降低		对抗提示词注入攻击，避免模型被恶意微调
AI幻觉	幻觉检测	提升内容真实性		检测依赖定义好的事实，可能对新知识不敏感		适用于提升答案真实性
虚假内容	知识编辑	确保数据真实且时效性扩展性好		编辑的局部性难以保证，新知识可能会影响关联的旧知识，导致生成内容质量降低		适用真实性、时效性敏感任务

攻击手段	攻击过程	攻击原理
对抗样本攻击	对输入指令进行微小但有针对性的修改，诱导错误输出	利用对输入扰动的高敏感性
越狱攻击	对输入指令设计复杂或逻辑性提示，触发潜在漏洞	利用指令解析的设计缺陷
指令注入攻击	对输入指令植入特定的、隐藏的或误导性内容，利用上下文控制生成内容	利用对指令内容的无鉴别处理
成员推理攻击	访问模型的输出，推断模型的训练数据集	利用对训练数据的记忆特性
模型窃取攻击	访问模型的输出，还原模型内部参数或架构	利用输入输出间的映射规律

攻击手段	攻击过程	攻击原理
对抗样本攻击	对输入指令进行微小但有针对性的修改，诱导错误输出	利用对输入扰动的高敏感性
越狱攻击	对输入指令设计复杂或逻辑性提示，触发潜在漏洞	利用指令解析的设计缺陷
指令注入攻击	对输入指令植入特定的、隐藏的或误导性内容，利用上下文控制生成内容	利用对指令内容的无鉴别处理
成员推理攻击	访问模型的输出，推断模型的训练数据集	利用对训练数据的记忆特性
模型窃取攻击	访问模型的输出，还原模型内部参数或架构	利用输入输出间的映射规律

防御类型	防御方法	优点		缺点		适用范围
异常提示检测	黑名单/正则表达式	实现简便，适用于显式攻击拦截		易被变体绕过，难识别语义变换		静态关键词过滤，基础防线
语义防火墙	可识别隐蔽攻击，具备上下文理解能力		构建复杂，易受规避策略影响		对抗语义注入与任务漂移攻击
提示工程	思维链/思维树	引导结构化推理，生成稳定性与鲁棒性强		易被扰乱链条逻辑，推理成本上升		多步骤、高复杂度任务，如推理、规划
自我一致性	多轮采样稳定性高，对单一路径依赖性低		增加生成延迟，难防深层引导型注入		精度敏感任务，如问答、代码生成

防御类型	防御方法	优点		缺点		适用范围
异常提示检测	黑名单/正则表达式	实现简便，适用于显式攻击拦截		易被变体绕过，难识别语义变换		静态关键词过滤，基础防线
语义防火墙	可识别隐蔽攻击，具备上下文理解能力		构建复杂，易受规避策略影响		对抗语义注入与任务漂移攻击
提示工程	思维链/思维树	引导结构化推理，生成稳定性与鲁棒性强		易被扰乱链条逻辑，推理成本上升		多步骤、高复杂度任务，如推理、规划
自我一致性	多轮采样稳定性高，对单一路径依赖性低		增加生成延迟，难防深层引导型注入		精度敏感任务，如问答、代码生成

防御目标	防御手段	优点		缺点		适用范围
合规性	内容过滤	快速识别并屏蔽违规信息		可能导致误报或漏报		内容审查、合规性保障等初筛任务
自修正机制	动态修正潜在不规范内容		算法复杂，修正延迟		高风险应用、法规遵从性要求强的场景
真实性	检索外部事实	引入外部知识库增强事实支持		依赖外部数据，可能存在滞后或不一致		事实核查、知识验证等任务
语义熵	可量化判断生成内容的不确定性		精度受模型训练数据影响		质量控制、质量评估等任务
引导式提示	明确推理路径，增强可控性和逻辑一致性		提示设计复杂，依赖性强		多步推理、高可解释性要求的决策任务
链式推理	分步推理提升推导过程的透明性		长链推理易引入误差，稳定性差		复杂推理、科学推断等高精度任务

防御目标	防御手段	优点		缺点		适用范围
合规性	内容过滤	快速识别并屏蔽违规信息		可能导致误报或漏报		内容审查、合规性保障等初筛任务
自修正机制	动态修正潜在不规范内容		算法复杂，修正延迟		高风险应用、法规遵从性要求强的场景
真实性	检索外部事实	引入外部知识库增强事实支持		依赖外部数据，可能存在滞后或不一致		事实核查、知识验证等任务
语义熵	可量化判断生成内容的不确定性		精度受模型训练数据影响		质量控制、质量评估等任务
引导式提示	明确推理路径，增强可控性和逻辑一致性		提示设计复杂，依赖性强		多步推理、高可解释性要求的决策任务
链式推理	分步推理提升推导过程的透明性		长链推理易引入误差，稳定性差		复杂推理、科学推断等高精度任务

生成式人工智能安全：挑战、应对与未来

PDF下载

赵淦森 ¹^,⁴ , 徐文枫 ¹^,⁴ , 钱程 ¹^,⁴ , 侯志豪 ¹^,⁴ , 宁梦芹 ² , 龚越 ² , 孔广源 ¹^,⁴ , 徐向民 ⁵^,⁶ , 郭佳宏 ²^,^* , 马文俊 ¹^,³^,^*

科技导报 | 特色专题 2026,44(12): 68-86

收起

科技导报 |特色专题 2026 , 44 (12) : 68 -86

生成式人工智能安全：挑战、应对与未来

全屏

赵淦森¹^,⁴, 徐文枫¹^,⁴, 钱程¹^,⁴, 侯志豪¹^,⁴, 宁梦芹², 龚越², 孔广源¹^,⁴, 徐向民⁵^,⁶, 郭佳宏²^,^*, 马文俊¹^,³^,^*

作者信息

¹华南师范大学，计算机学院，广州 510631

²北京师范大学哲学学院，逻辑与认知科学研究所，北京 100875

³华南师范大学，阿伯丁数据科学与人工智能学院，佛山 528225

⁴华南师范大学，广州市云计算安全与测评技术重点实验室，广州 510631

⁵佛山大学，佛山528225

⁶人工智能与数字经济广东省实验室（广州），广州 510335

通讯作者:

郭佳宏（通信作者），教授，研究方向为人工智能逻辑、哲学逻辑和逻辑应用，电子信箱：jiahong.guo@bnu.edu.cn;

马文俊（共同通信作者），副教授，研究方向为推荐系统、生理信号分析、不确定推理，电子信箱：mawenjun@scnu.edu.cn

作者简介:

赵淦森，教授，研究方向为人工智能和信息安全，电子信箱：gzhao@m.scnu.edu.cn

Security of generative artificial intelligence: Challenges, countermeasures, and future

Gansen ZHAO¹^,⁴, Wenfeng XU¹^,⁴, Cheng QIAN¹^,⁴, Zhihao HOU¹^,⁴, Mengqin NING², Yue GONG², Guangyuan KONG¹^,⁴, Xiangmin XU⁵^,⁶, Jiahong GUO²^,^*, Wenjun MA¹^,³^,^*

Affiliations

¹School of Computer Science, South China Normal University, Guangzhou 510631, China

²Institute of Logic and Cognitive Science, School of Philosophy, Beijing Normal University, Beijing 100875, China

³Aberdeen Institute of Data Science and Artificial Intelligence, South China Normal University, Foshan 528225, China

⁴Key Lab on Cloud Security and Assessment technology of Guangzhou, South China Normal University, Guangzhou 510631, China

⁵Foshan University, Foshan 528225, China

⁶Guangdong Artificial Intelligence and Digital Economy Laboratory (Guangzhou), Guangzhou 510335, China

出版时间: 2026-06-28 doi: 10.3981/j.issn.1000-7857.2025.05.00145

文章导航

摘要

收起

生成式人工智能作为当下智能技术发展的前沿技术，正深度重构各行业工作范式。随着生成式人工智能的广泛应用，其安全问题日益突出。系统性地审视当下的安全风险、已有的应对举措，以及未来的工作方向，成为目前的一个迫切的任务。为全面梳理生成式人工智能在各阶段的安全挑战与防护策略，从训练安全、推理安全及衍生安全3个方面系统地梳理了生成式人工智能在模型训练阶段、模型推理阶段、模型输出应用阶段的安全风险和相应的防御策略。针对训练安全和推理安全，进行了形式化建模，把具体的安全暴露面和相关要素进行了抽象的刻画，并在此基础上对相应的攻击方法和防御举措进行了深度剖析和说明。针对生成式人工智能的衍生安全问题，探讨在生成式人工智能输出结果的利用阶段所带来的信息虚假、社会公平与个人隐私等方面的安全威胁，并整理相应的应对举措。就未来人工智能的安全治理从多个方面进行讨论，包括可控性与可信生成机制、安全评估基准、责任机制与合规框架等。整体而言，对生成式人工智能的安全风险与安全防御举措进行了全面的调研，构建了一个覆盖生成式人工智能全生命周期的、覆盖技术和社会2个层面的生成式人工智能安全研究现状整体框架。

关键词

生成式人工智能 / 数据安全 / 算法安全 / 应用安全 / 社会伦理

Abstract

收起

As a frontier technology in the current artificial intelligence era, generative artificial intelligence (GAI) is profoundly reshaping society across multiple domains. Concomitant with the proliferation of GAI applications are the emerging security challenges at both technical and social levels. To better understand the technical and social issues brought about by GAI, it is imperative to conduct a systematic and comprehensive investigation into existing security challenges, developed countermeasures, and future directions. This paper conducts a systematic survey spanning the entire lifecycle of GAI—namely, training security, inference security, and derived security—which correspond to model training, model inference, and model application, respectively. Formal models for GAI training and inference are developed to articulate security vulnerabilities, threat surfaces, and associated factors. An in−depth analysis covers typical attacks and corresponding countermeasures at both the training and inference stages. Derived security is also investigated, referring to security risks arising from GAI applications, including misinformation, social fairness concerns, individual privacy threats, and more, followed by a review of relevant countermeasures. Future directions in GAI security governance are discussed, emphasizing controllable and trustworthy generation mechanisms, security evaluation benchmarks, accountability mechanisms, and regulatory compliance frameworks. Overall, this article conducts a comprehensive investigation into the security risks and defense measures of GAI and constructs a security research framework that covers the entire lifecycle of GAI, as well as its research status at both technical and social levels.

Key words

generative artificial intelligence / training security / inference security / derivative security / social ethics

引用本文

赵淦森, 徐文枫, 钱程, 侯志豪, 宁梦芹, 龚越, 孔广源, 徐向民, 郭佳宏, 马文俊. 生成式人工智能安全：挑战、应对与未来. 科技导报, 2026 , 44 (12) : 68 -86 . DOI: 10.3981/j.issn.1000-7857.2025.05.00145

Gansen ZHAO, Wenfeng XU, Cheng QIAN, Zhihao HOU, Mengqin NING, Yue GONG, Guangyuan KONG, Xiangmin XU, Jiahong GUO, Wenjun MA. Security of generative artificial intelligence: Challenges, countermeasures, and future[J]. Science & Technology Review, 2026 , 44 (12) : 68 -86 . DOI: 10.3981/j.issn.1000-7857.2025.05.00145

正文

收起

1 概述

收起

生成式人工智能（generative artificial intelligence，GAI）是一类人工智能算法，通过从训练数据中学习底层模式，以各种形式（如图像、文本和音乐）创建新内容。GAI是人工智能生成内容（AI generated content，AIGC）的核心技术之一，旨在基于用户输入或需求，以更快的速度和更低的成本辅助或替代人类创建内容^[1]。与以分类、识别为主要任务的判别式人工智能不同，生成式人工智能更强调建模输入数据与生成结果之间的生成映射关系，具有表达能力强、任务通用性高、适应性广等特征。

GAI的技术体系经历了从早期的变分自编码器（variational auto−encoders，VAE）、生成对抗网络（generative adversarial network，GAN）到现代的Transformer等架构的快速演进。自ChatGPT提出以来，以预训练为基础，指令微调为辅助的训练模式来构建具有通用生成能力的大语言模型（large language models，LLM）逐步成为GAI主流。GAI模型通过大规模语料预训练构建基础模型，在多任务生成、语言理解与推理方面展现出显著性能。

以ChatGPT、Claude、ERNIE、DeepSeek等为代表的大语言模型已被部署于智能问答、写作辅助等语言密集型的文本内容生成任务^[2]。多模态生成模型，如DALL·E、Stable Diffusion、MiniMax，展现出其在图像、视频等多元模态内容方面所具备的生成能力。GAI在专业领域应用场景的决策任务中也逐渐体现出推理、规划与目标驱动的能力^[3]。借助思维链、反事实推理与规划型提示工程等方法，GAI已被用于法律文本分析、医疗问诊支持、金融决策辅助、科学文献生成与知识发现等专业任务。GAI应用不断扩大的同时暴露出一系列的安全风险和挑战^[4]。这些安全风险加剧了用户对模型输出内容的合规性、模型的可信性的担忧，同时对现有的安全治理体系与监管机制提出新挑战^[5]。整体而言，GAI的安全范畴涵盖模型训练安全、模型推理安全及模型应用所带来的衍生安全等多个维度。

1.1 安全挑战与研究动机

GAI的全生命周期可以划分为以训练为主的模型构建阶段、以推理为主的模型部署应用阶段及模型输出后的结果应用阶段3大阶段。本文把GAI的安全按照相应的生命周期和阶段划分为训练安全、推理安全及衍生安全，重点整理和分析GAI所特有的安全问题。部分安全虽然与GAI相关，但其实是各不同领域均会出现的共性安全问题，如网络安全、系统安全等，这些安全问题不作为本文的整理和分析的重点。

在训练阶段，GAI的构建依赖于大规模语料与复杂的训练算法，由此不可避免要面对数据层面与算法层面的安全风险。大规模训练语料的质量与真实性，对模型质量和性能影响重大。如训练语料包含恶意信息、歧视性偏见、不实信息等，则可能致使模型认知产生偏差。语料有可能包含敏感或机密的信息，在特定场景下，训练过程可能导致这些信息泄露。此外，训练算法可能存在脆弱性，使得模型容易受到对抗样本、数据投毒或梯度操控等行为的攻击，从而削弱模型的可信性。

在推理阶段，GAI可依据用户输入指令通过推理和计算生成相应内容。此阶段，其面临的主要安全威胁源自用户利用模型输入的模型操控行为。攻击者通过构造特定的模型输入，极有可能诱导模型生成误导性、虚假乃至恶意的内容。这种攻击方法不仅可以在单轮对话中实现，还可能通过多轮交互逐步实现，甚至可能突破模型的安全限制，导致模型生成非法内容。此外，生成式人工智能受训练不充分或存在逻辑谬误等因素影响，有可能生成低质量的内容。

在结果应用阶段，GAI面临的安全问题主要集中在其生成内容的使用和传播所造成的各类安全威胁和分享。GAI模型输出的内容中可能包含敏感或个人隐私信息，带来个人隐私泄露和滥用风险。生成式人工智能可能会被滥用，利用其输出结果构建虚假信息、操纵舆论或加剧社会偏见，进而对社会稳定和公共信任造成负面影响。此外，GAI引发的安全问题可能关系到国家层面，包括治理能力、主权完整和国际关系等。

综上所述，GAI的安全风险覆盖全生命周期，涉及技术与社会多个层面。针对不同阶段的安全挑战，亟需构建多层次、系统性的防护体系，整合技术手段、伦理规范与政策监管，确保GAI的安全可信。

1.2 预备知识

在讨论GAI安全之前，有必要简要回顾GAI的基本原理，为后续系统性梳理和分析GAI的安全风险和防御举措打下基础。GAI的核心逻辑之一是机器学习中的“找规律”。机器学习让这种找规律的过程可以被计算机自动完成。GAI更进一步学会了前文与后文的规律，问题与答案的规律，文本与图像、与声音、与视频的规律，能够根据用户输入生成新的内容。现在的GAI普遍采用连接主义的技术路线，也就是用神经网络模型来模仿人脑神经元的连接关系，从大量训练数据中学习其分布。该过程可以形式化描述为一个优化问题，如公式（1）所示，含义为：寻找这样一个模型参数

$ \theta $

，使得模型

$ {M}_{\theta } $

对于前文

$ x $

所预测的后文概率分布

$ {P}_{\theta }\left(x\right) $

与训练数据

$ D $

的经验分布

$ {P}_{D}\left(x\right) $

之间的差异最小化，这样的模型参数即为最优参数

$ {\theta }^{\mathrm{*}} $

。

(1)

$ {\theta }^{*}=\underset{\theta}{\mathrm{argmin}}\mathcal{L}({P}_{D}(\cdot| x),{P}_{\theta }(\cdot| x))$

其中，损失函数

$\cal{L} $

用于度量模型预测分布与真实数据分布之间的差异。GAI 常用的损失函数因任务不同而有所差异，如用于文本生成任务的交叉熵损失与KL散度损失分别可以表示为

(2)

$ {\cal{L}}_{CE}\left({P}_{D},{P}_{\theta }\right)=-\sum\limits_y {P}_{D}\left(y|x\right)\mathrm{l}\mathrm{o}\mathrm{g}{P}_{\theta }\left(y|x\right) $

(3)

$ {\cal{L}}_{KL}\left({P}_{D},{P}_{\theta }\right)=\sum\limits_y {P}_{D}\left(y|x\right)\mathrm{log}\left(\frac{{P}_{D}\left(y|x\right)}{{P}_{\theta }\left(y|x\right)}\right) $

而在风格迁移、图像超分辨率和图像生成以及图像生成任务中，通常在特征空间ϕ(·)上采用感知损失：

(4)

$ {\cal{L}}_{perc}=\|\phi(x)-\phi(\hat{x})\|^2_2 $

然后，通过反向传播，可以计算出损失函数对于模型参数的偏导数

$ {\nabla }_{\theta }\mathcal{L} $

，从而更新模型参数

$ \theta $

为

(5)

$ \theta \leftarrow \theta -\eta {\nabla }_{\theta }L $

式中

$ \eta $

是学习率。当训练收敛到一个稳定参数

$ {\theta }^{\mathrm{*}} $

，模型

$ {M}_{{\theta }^{\mathrm{*}}} $

就学到了训练数据D的前文与后文的规律，获得了内容Z的生成能力，如公式（6）所示。

(6)

$ \mathit{Z}=M_{\theta^{\mathrm{*}}}\left(x\right) $

不同的参数和输入下，模型可能会生成不同内容，部分情况下可能生成不当内容。一方面，要在训练阶段增强模型自身的鲁棒性和提升训练的质量；另一方面，要在推理阶段采取防御措施。

1.3 研究框架

本文依托GAI的全生命周期，系统性地梳理和分析各阶段的安全风险和防御举措，从而构建了“训练安全—推理安全—衍生安全”的GAI安全研究工作的3层框架。图1呈现了GAI在生命周期各阶段中的主要安全挑战及对应的防御举措。具体来说，训练安全侧重于模型在构建过程中可能遭遇的安全隐患及其对应的防御策略；推理安全关注模型推理过程中输入的安全与输出的安全；衍生安全主要探讨GAI在个人、社会和国家不同维度应用场景中可能引发的安全和伦理风险。

为确保全面性、系统性和前沿性，本文采用了系统性的文献回顾方法。研究过程包括文献检索、筛选与评估及信息综合与框架的构建。在文献检索阶段，以谷歌学术（Google Scholar）、ACM Digital Library、IEEE Xplore等国际主流学术数据库及预印本平台arXiv.org为主要文献来源，并辅以中国知网（CNKI）以覆盖国内研究现状。检索策略上，将“Generative Artificial Intelligence”“Large Language Model”等核心主题词与一系列安全关键词进行组合，其范围涵盖了从宏观的“safety”“privacy”“ethics”“alignment”等通用安全与伦理概念，到具体的“adversarial attack”“jailbreak”“prompt injection”“backdoor attack”等攻击技术，以及“hallucination”“bias”等关键现象与缓解方法。同时，结合对应的中文关键词进行检索，以保证综述的全面性。在筛选阶段，优先选择发表在高水平国际会议和期刊的同行评议论文，并且高度关注近3年的最新研究，对于快速发展的领域，及时纳入有影响力的arXiv预印本。本文定义了5条选择和过滤论文的规则：（1）论文主题必须直接探讨GAI自身的安全、隐私、伦理或治理问题。（2）对于某一细分领域，优先选择开创性工作、高被引论文或全面综述。（3）排除仅将AI作为工具解决传统安全的文献。（4）排除新闻、博客等非学术性文章。（5）排除已被更新研究取代的早期文献。本文对这些文献的研究焦点进行归类统计，识别出现有的安全问题与挑战并非孤立存在，而是能够被清晰地归入模型构建（训练阶段）、模型使用（推理阶段）以及模型影响（应用衍生阶段）3个环节。

当前，已有大量优秀的研究从不同维度对GAI安全进行了梳理（表1）。Rauh等^[6]对现有安全评估方法进行了实证性梳理，指出其在模态、风险类型及上下文适应性方面存在明显的不足；Sun等^[7]提出了一个中文LLM的安全评估基准，涵盖了8种典型安全场景和6种指令攻击；Yao等^[8]则从宏观层面对LLM所带来的安全与隐私影响进行了系统分类，强调了其双重效应及内在脆弱性；Huang等^[9]探讨了将传统验证与确认（verification and validation，V&V）技术应用于LLM的可行性，尝试为模型安全性评估提供结构化的技术路径；满超等^[10]从宏观治理的视角切入，在剖析了数据、算法、应用层面风险的基础上，提出了融合法律规范、平台治理与技术监管的协同治理路径；全国网络安全标准化技术委员会^[11]针对不同类型的人工智能安全风险，从技术和管理2方面提出防范应对措施，并针对不同角色提供安全开发应用指引。此外，数据隐私作为核心议题也得到了深入探讨。Yan等^[12]聚焦于LLM及智能体生命周期中的隐私保护；Liu等^[13]则综述了包括生成对抗网络和扩散模型在内的多种生成模型所面临的隐私攻击与防御策略。与现有的方法相比，本文提出的研究框架在宏观层面上概述了GAI在生命周期各阶段中可能面临的安全风险及现有针对性的防御措施，提供了对领域整体发展的清晰视野。

2 训练安全

收起

假设训练数据集

$ D $

服从数据分布

$ {P}_{D}\left(x\right) $

，并且损失函数

$ \mathcal{L} $

用于衡量输出生成内容的概率分布

$ {P}_{\theta }\left(x\right) $

与

$ {P}_{D}\left(x\right) $

的差异，那么训练过程可表示为求解使损失函数最小化的模型参数的过程。训练阶段的优化问题，模型训练过程可以形式化表示为

(7)

$ M_{{\theta }^{\mathrm{*}}}=f_{训练}({M}_{\theta },D) $

其中，f_训练表示训练过程，其作用是基于初始模型 M_θ与训练数据集D，并依据公式（1）所定义的优化目标来得到成熟模型

$M_{{\theta }^{\mathrm{*}}} $

。

从上述模型可见，决定一个GAI的关键要素主要为训练的数据集

$ D $

、训练过程

$ {f}_{\mathrm{训}\mathrm{练}} $

。这2个关键要素是训练阶段的主要安全暴露点。

在整体的流程中，训练阶段可以分为以下5个步骤：数据准备、预训练、微调、价值对齐和训练完成（图2）。数据准备阶段是其中一个安全暴露位置。在数据准备阶段，训练的数据集

$ D $

可能面临着隐私泄露、数据偏见、数据投毒等攻击风险。训练过程

$ {f}_{\mathrm{训}\mathrm{练}} $

的安全风险主要出现在微调阶段或价值对齐阶段，前者主要面临微调攻击的威胁，后者主要面临着有毒反馈和奖励机制操纵的风险。

防御策略的实施贯穿于整个训练阶段的各个环节，涵盖了从数据准备到训练完成后的多个关键环节。差分隐私和数据清洗等数据保护技术能够很好地降低或清除数据中包含的隐私、偏见或有毒数据。在预训练阶段，后门检测、幻觉检测等防御策略能够很好地抵御数据集中残留的有毒数据的影响，确保模型的行为安全。知识遗忘、拒绝训练和反微调训练等举措能够抵御微调攻击，保护模型的有效性。价值对齐阶段可以采用一些基于规则或策略推理的方法实现模型的安全对齐。对于训练完成后仍存在的错误行为风险，知识编辑的方法能更新模型知识或借助外部知识库纠正模型的行为。

2.1 安全风险

GAI模型面临的训练安全威胁主要体现在数据和算法层面的缺陷。这些缺陷可能是攻击者恶意攻击导致的，也可能由自身的固有缺陷引发。

针对训练数据集

$ D $

的攻击，主要手段是构建存在偏见的数据、有害数据的训练数据集

$ D' $

，以此对模型的数据分布

$ P_D $

加以引导，构建

$ P_{D'} $

，致使模型在推理阶段针对某些方面呈现出特定偏好或偏差。训练数据集是这类型攻击的手段，其攻击对象是训练后的模型，其攻击目标是操控模型使得模型在特定条件下呈现特定的偏见等行为。常见的攻击方式包括数据偏见攻击、数据投毒攻击等。此外，针对训练数据集

$ D $

的攻击类型中还包含数据泄露攻击。此类攻击主要通过多种手段，窃取训练数据集的相关内容与信息。训练数据集是这类攻击的对象，其攻击目标是窃取训练数据集的相关信息和内容。

针对训练过程

$ {f}_{\mathrm{训}\mathrm{练}} $

的攻击，主要是通过训练过程中的有害反馈、奖励操纵等手段影响损失函数

$ \mathcal{L}\left({P}_{D},{P}_{\theta }\right) $

，从而导致训练输出的模型在数据分布上出现偏差，以此对模型的行为加以引导。训练过程是这类型攻击的手段，其攻击对象是训练所得的模型，攻击目标是操控模型所对应的数据分布。具体而言，常见的攻击方式包括反向监督微调、欺骗对齐等。

2.1.1 数据安全风险

在生成式人工智能模型的训练阶段，数据不仅构成了模型能力构建的基础资源，也潜藏着多种安全风险（如隐私泄露、数据偏见、数据中毒等）。从风险来源的角度看，数据安全风险并不一定来自恶意的攻击者，也可能源于数据自身的质量缺陷。隐私泄露和数据偏见主要是由数据自身缺陷导致的。数据投毒风险主要来源于外部的攻击者。从本质上看，数据层面的攻击基本思路是通过攻击训练数据的数据分布

$ P_{D' }$

使其偏离为错误的数据分布

$ P_{\mathrm{w}\mathrm{r}\mathrm{o}\mathrm{n}\mathrm{g}} $

，从而使得模型学习到错误的数据分布，进而在一定程度上操控模型在推理过程中的行为。

当前模型训练实践中，隐私泄露是广泛存在的一种安全风险。隐私泄露的风险主要是由于数据未经过严格脱敏处理和模型的“记忆性”特征。模型可能在无意中复现未脱敏数据语料中的敏感片段，如个人身份信息、邮箱地址或医疗记录^[14]。值得注意的是，隐私数据也可能在推理阶段被攻击者窃取，如成员推理攻击。虽然成员推理攻击通常发生在模型推理阶段，但需要在模型训练阶段进行防御。数据偏见^[15]作为数据层面的自身缺陷，其问题的根源主要是训练数据集中的偏差（如数据分布不均，社会文化偏见等）。模型在训练过程中捕捉和学习到了带有偏见的特征，导致GAI模型在推理过程中可能输出包含偏见的信息（如强烈的性别歧视^[16]）。

数据投毒是一种攻击者主动攻击以篡改训练数据分布的攻击手段，从而引导模型拟合错误的数据分布。常见的数据投毒攻击手段有标签翻转攻击、后门攻击和数据篡改攻击^[17]。标签翻转攻击通过修改训练数据中部分样本的标签，使得模型在学习过程中受到误导，引发模型在分类任务中出现错误预测。后门攻击不仅篡改训练数据，还嵌入指定的触发器。当模型遇见指定的触发器时，便会输出指定的结果。数据篡改攻击不仅修改训练数据的标签或插入后门，还会直接改变数据的内容或结构，从而使得模型在学习过程中偏离真实数据分布。

2.1.2 算法安全风险

生成式模型的训练阶段可以分为预训练、微调和价值对齐3个阶段。其中预训练阶段依赖于大量的数据语料进行训练，其安全风险主要是数据层面的威胁。从来源角度看，微调阶段和价值对齐阶段的指令微调、反馈机制和奖励机制是容易受到攻击的暴露点。从本质上看，算法层面的攻击旨在以数据（如反向监督微调数据

$ {D}_{\mathrm{RSFT}} $

）为手段，限制损失函数

$ \mathcal{L} $

效果或操纵奖励机制等算法，从而使模型学习效果变差或学习到错误的知识。

微调阶段旨在通过较少的微调数据，使模型获取特定领域的知识，以增强模型的生成能力。微调阶段通常采用监督微调和强化学习微调2种方法^[18]。其中，监督微调方法面临着有害微调的风险。攻击者通过引入恶意的微调数据（如反向监督微调^[19]），从而使模型可能在特定提示下生成有害的内容。强化学习微调方法主要面临奖励操控的风险。奖励操控旨在给模型错误的引导（如调高错误行为的奖励），从而使得模型行为偏离正确方向。

价值对齐阶段旨在为确保模型的输出内容与人类伦理、道德规范等价值观层面的一致性而进行优化。模型在对齐阶段面临着欺骗对齐^[20]的风险。欺骗对齐指模型可能在训练中策略性地假装对齐（符合人类价值观）。然而，模型却在实际部署时表现出真实的偏好（不符合价值观）。欺骗性对齐主要出现在较大的模型中，意味着可能受到模型规模影响。

与数据泄露类似，生成式模型也面临着模型窃取^[21]的风险。攻击者通过大量查询来尝试获取模型的理论边界和数据分布特征，从而获取模型参数、隐藏的特性或者获得与被攻击模型类似效果的影子模型。与成员推理攻击相似，模型窃取攻击通常发生在模型推理阶段，但需在模型训练阶段进行防御。

2.1.3 攻击方法对比

表2总结了训练阶段的安全风险和攻击手段/方法，并给出了攻击目标。在数据层面，攻击者通过数据投毒主动注入后门、利用数据偏见侵蚀模型的公平性，或是通过隐私泄露反向窃取训练信息。而当威胁升级至算法层面，手段则更为精妙。微调攻击能够有针对性地篡改模型的知识，而欺骗对齐则是更难以检测的风险——AI可能在训练中伪装顺从，部署后输出错误信息。综上所述，训练安全面临的安全威胁是利用训练数据或者训练过程，以训练数据集或者训练得到的模型作为攻击对象，最终实现窃取训练数据集或者模型的敏感信息，操控模型的数据分布从而让模型在推理阶段呈现特定的行为等。

2.2 防御措施

训练阶段的防范举措围绕着数据集

$ D $

和训练过程

$ {f}_{\mathrm{训}\mathrm{练}} $

开展。针对数据集

$ D $

，主要的防范举措是保护数据集

$ D $

的隐私和数据集

$ D $

的数据分布，其中，隐私保护的常见方法是差分隐私和同态加密；数据分布的常见方法是数据清洗、偏见识别、后门检测、幻觉检测等。针对训练过程

$ {f}_{\mathrm{训}\mathrm{练}} $

一种的举措是通过构建数据集

$ {D}_{\mathrm{拒}\mathrm{绝}} $

、

$ {D}_{\mathrm{遗}\mathrm{忘}} $

、

$ {D}_{\mathrm{对}\mathrm{抗}} $

等，提示给模型面临攻击时的正确行为，使模型参数优化对于特定数据集（如

$ {D}_{\mathrm{拒}\mathrm{绝}} $

）的数据分布，从而增强模型对于攻击的抵抗能力。另外一种举措是通过构建知识向量数据库，作为对模型数据分布

$ P_D $

的补充，纠正

$ P_D $

中可能包含的陈旧信息和虚假信息，从而增强模型生成内容的真实性和正确性。

2.2.1 数据安全防护

数据层面的隐私泄露、数据偏见和数据投毒等安全风险本质上是数据窃取或者数据分布偏差。此类安全风险可以在训练前和训练后2个节点进行防御。训练前，通过差分隐私、偏见识别和数据清洗等方法可以有效地减少训练数据自身缺陷，提升数据集质量。而针对数据投毒攻击，可以在训练后通过触发器重建和检测等方法进一步检测模型是否中毒。

差分隐私^[22]（differential privacy，DP）是一种应对隐私泄露风险的有效办法，通过在训练数据集中引入噪声等消除单个数据样本个体隐私的不可追溯性，从而避免模型输出训练数据中的隐私信息。部分研究者也尝试引入同态加密、联邦学习等机制控制训练过程中的信息暴露风险，或在生成阶段部署输出筛查模型以识别潜在敏感信息。前者在训练效率和资源消耗方面尚有较大的提升空间，后者则受限于现有识别模型对复杂语义结构的理解能力，存在漏检与误判问题。

偏见识别的方法能够有效地在训练前通过统计分析、可视化等方法识别数据集在数据分布层面的明显偏差。有研究者提出可以通过数据增强、数据合成等方法减少或者消除数据中的偏差。因偏见并非一成不变，其可能随时间发生变化（如社会价值观）。动态识别并消除数据集中隐含的偏见信息仍面临挑战。

采用可信数据源和训练前的数据清洗等传统方法能够在一定程度上缓解数据投毒攻击的威胁。然而，这种方法仅能抵御部分数据投毒攻击。针对复杂的数据投毒攻击（如后门毒药攻击），可以通过对抗性训练技术提升模型对于对抗样本（如有毒数据）的抵抗能力，避免被有毒样本影响模型效果。另一种可行的手段是使用可解释的AI诊断方式识别训练中引起梯度异常的有毒样本，从而抵御数据中毒攻击^[18]。

2.2.2 算法安全防护

算法层面通常从模型训练中和训练后采取有效的训练方法和知识编辑等方法构建有效的防御机制来保护模型。模型训练过程中，拒绝训练、对抗性训练和幻觉检测等方法能够在训练的过程中一定程度地阻止模型学习恶意的信息和知识，降低模型在推理阶段生成虚假、恶意内容的可能，从而提高模型的鲁棒性。模型训练完成后，通过知识编辑的方法能在低成本的情况下优化模型的输出，使模型的内容更符合最新的价值观和知识体系。

针对隐私泄露问题，模型训练过程中的知识遗忘（knowledge unlearning）能够有效缓解隐私泄露风险。知识遗忘通过给模型加入遗忘层，或者引入“失忆数据集”进行微调，从而在不损害模型整体性能的前提下，有效去除不当学习内容^[12]。针对AI幻觉问题，幻觉检测通过对模型参数施加扰动，分析其输出的波动范围，以识别模型在处理模糊或错误信息时所表现出的不确定性，从而有效监测并抑制虚假生成内容^[23]。针对微调阶段的攻击，反微调训练（non−fine−tunable learning）是一种通过模拟多种潜在的微调路径，主动抑制模型在受限或高风险任务域中的学习能力，同时保持其在合法任务域内的性能表现^[24]。

针对数据投毒、数据偏见等风险，对抗性训练和拒绝训练能够有效缓解这些风险。对抗训练通过将对抗样本引入训练过程，使模型在学习过程中增强对恶意扰动的识别与抵御能力。对抗样本是指在输入数据中嵌入人眼难以察觉的微小扰动，尝试诱导模型输出错误的特殊样本。拒绝训练（refusal training）通过将安全示例与带注释的有害内容纳入训练语料，引导模型学习识别并拒绝不当生成行为，强化其内容过滤能力与价值对齐能力^[18]。

针对内容错误、不当模型行为、陈旧事实等问题，模型训练完成后，重新训练或者全量微调都会消耗大量的人力物力。知识编辑（knowledge editing）技术^[25]能够精确地修正GAI模型的行为，在不影响其他无关知识的前提下完成知识更新。例如，在回答“最新一届诺贝尔化学奖获得者是谁？”问题时，采用检索增强生成（retrieval−augmented generation，RAG）方法从外部知识库或文献数据库中检索与问题相关的最新信息，再将检索结果与用户问题一并输入生成模型，从而生成包含最新事实的回答。

2.2.3 安全防护方法对比

表3总结了训练阶段中可以采用的安全防御方法、优缺点，以及不同防御方法所适用的风险类型。针对数据层面，主要采用差分隐私、偏见识别和数据清洗的方法来抵御攻击。这些方法能够很好地剔除数据中隐含的偏见、虚假、隐私等信息，有力地保障了生成式人工智能的安全。但这些方法仍存在一定的缺陷，如差分隐私引入的噪声和数据清洗剔除的数据可能导致数据偏差或部分信息丢失，偏见识别依赖于先验知识识别偏见，从而具有时效性。针对算法层面，主要采用知识遗忘、幻觉检测、反微调训练、拒绝训练和知识编辑来抵御攻击。这些方法旨在避免模型学习错误知识和生成错误内容。其中，知识遗忘、反微调训练、幻觉检测和拒绝训练旨在训练和微调过程中监督模型训练和纠正模型偏差。知识编辑旨在借助外部知识修正生成内容，保证生成内容的真实性。但这些方法具有一定缺点，如知识遗忘、反微调训练和知识编辑可能对模型产生直接影响，降低模型效果。而幻觉检测和拒绝训练更依赖一定的先验知识，具有一定的时效性。因此，在实际的训练过程中，需要结合数据集和模型算法框架的实际情况，具体分析可能面临的安全风险，并选用合适的方法来应对实际的安全挑战。

3 推理安全

收起

推理阶段是GAI模型用其内部知识与推理能力向用户提供推理服务的过程，其本质上是一个对用户输入的三级函数映射过程。在推理阶段，公式（6）可以拆分为

(8)

$ z\mathrm{_{mo}}=M_{\theta^{\mathrm{*}}}\left(u\left(x\right),y\right) $

(9)

$ z\mathrm{_{fo}}=v\left(z_{\mathrm{mo}}\right) $

式中，

$ x $

是用户输入（如指令、上下文或提示信息），

$ y $

是推理服务的外接知识库（如互联网搜索服务），

$ z\mathrm{_{mo}} $

是模型的输出，

$ z\mathrm{_{fo}} $

是推理服务的最终输出，函数

$ {M}_{{\theta }^{*}} $

是训练后的生成式人工智能模型，函数

$ u\left(\cdot\right) $

是对用户输入的预处理，函数

$ v\left(\cdot\right) $

是对模型输出的后处理。

在整体流程中，可以归纳为5个环节，即用户输入、预处理、模型推理、后处理及最终输出（图3）。用户输入环节是接收用户的输入指令

$ x $

。在该环节中，输入指令

$ x $

由用户提供。因其具有开放性、可塑性和语义复杂性，成为在推理阶段主要的攻击切入点。常见的攻击手段，如越狱攻击、指令注入攻击、成员推理攻击等，是在用户输入环节中通过对输入指令

$ x $

构造特定语义来显式或隐式地操控模型输出

$ z\mathrm{_{mo}} $

。

对于防御举措，除了模型推理环节中模型

$ {M}_{{\theta }^{*}} $

本身的免疫能力以外，预处理环节和后处理环节是推理阶段中主要的防御面。预处理环节

$ u(.) $

针对的是用户输入指令

$ x $

，通过异常提示检测、语义护栏、思维链等技术来审查输入指令的语义。后处理环节

$ v(.) $

针对的是模型输出内容

$ z\mathrm{_{mo}} $

，通过内容过滤、自修正机制、幻觉检测等技术来检查输出内容。

3.1 攻击手段

推理阶段的攻击，通常利用自然语言的灵活多变性，以及模型理解的边界，通过特定输入诱导模型生成不当内容。可以归纳为对输入指令

$ x $

添加扰动或误导性语义

$ \Delta x $

，使得模型的输出结果偏离安全输出

$ {y}' $

，即

$ {v(M}_{{\theta }^{*}}\left(u\left(x+\Delta x\right)\right))\notin {y}' $

。具体而言，在推理过程中，GAI主要面临来自用户侧的多种操控风险，特别是在模型输入接口高度开放的情况下。这些操控风险，如对抗样本攻击、越狱攻击和指令注入攻击，通常利用模型对自然语言的灵活解析和生成机制，通过设计特定的输入诱导模型输出不合规或潜在有害的内容。

表4描述了推理安全中常见的攻击手段。对抗样本攻击^[26]通常通过在输入指令中加入微小的扰动来改变模型的推理结果。这些扰动虽然在表面上难以察觉，但足以引起模型生成错误的或不符合预期的输出。这类攻击利用了模型对输入分布的高度敏感性，尤其是在模型缺乏鲁棒性校准时更为有效。越狱攻击^[27]则通过精心构造具有误导性的指令，绕过模型的内建安全机制，迫使模型生成违反其价值标准的内容。这类攻击不依赖于低层次扰动，而是利用自然语言的逻辑模糊性和模型对语境的过度适应性，从语义层面破坏模型的控制边界。指令注入攻击^[28]通过在用户输入中嵌入恶意指令或不当语义，操控模型的响应，导致生成具有特定、通常是不合规或危险性的内容。与越狱攻击相比，指令注入攻击往往更隐蔽，攻击载荷被包装在表面合法的输入中，进而绕过简单的关键词匹配或规则过滤系统。成员推理攻击^[29]和模型窃取攻击^[21]的攻击方式相似，通过构建攻击样本输入模型后，观测模型的输出内容。不同的是，前者是判断样本是否用于模型训练，以达到窃取数据中成员信息的目的，后者是查看对应的响应结果，来推测模型的参数或功能，以达到复制出一个功能相似甚至完全相同模型的目的。

这些攻击方式的有效性，根源于GAI在结构设计与行为机制上的多重脆弱性。一方面，当前GAI基于条件语言建模范式，仅通过最大化下一个词元（token）的生成概率实现响应生成，缺乏对输入意图与语义边界的显式建模^[30]；另一方面，其开放式输入接口与上下文适应机制虽然增强了人机交互的灵活性，但也导致模型更容易受到复杂语言操控、模糊语义引导及对抗语义结构的影响。

3.2 防御措施

推理阶段的防御措施，旨在强化模型对输入指令的安全处理和输出结果的审查，从而抵御潜在的操控风险和攻击。防御策略可以从2个关键环节展开：首先是通过预处理函数

$ u(.) $

对输入指令

$ x $

进行严格的语义约束；其次是通过后处理函数

$ v(.) $

对输出内容

$ z\mathrm{_{mo}} $

进行审查，确保模型生成的内容始终符合安全标准。具体而言，预处理环节

$ u(.) $

通过异常提示检测、语义护栏、思维链等技术，对输入指令语义进行深入筛查和约束，从源头上减少恶意操控的可能性。后处理环节

$ v(.) $

则通过内容过滤、自修正机制和幻觉检测等技术对模型生成的内容

$ z\mathrm{_{mo}} $

进行管控，确保输出内容

$ z\mathrm{_{mo}} $

不偏离预期，并排除可能的有害信息。通过这2种防御机制的结合与协同作用，可有效防止通过对输入指令的扰动或误导性语义引发的模型异常行为，确保推理过程的安全性与稳定性。

3.2.1 指令语义约束

针对利用用户输入的指令进行的推理阶段的攻击，常见的指令语义约束防御措施是利用函数

$ u(.) $

对用户输入指令进行预处理。预处理函数

$ u(.) $

的具体实现包括对输入

$ x $

进行审查和过滤，以及对输入

$ x $

进行拆解和深度理解。表5总结了指令语义约束中常见的防御手段。

常见的防御举措是直接对输入

$ x $

进行语法或者语义层面的审查和过滤。异常提示检测是常用的简单直接的输入规范化方法，这种方法主要聚焦于对输入指令中不合规内容的自动检测。这种检测关注单条指令中的敏感词、非法语义及潜在绕过语义。常见异常检测方法主要依赖预定义的黑名单与正则表达式规则对输入内容进行逐项匹配过滤，判断其是否符合预定标准^[31]，或者是通过距离、聚类或注意力机制判断其是否落入非法语义簇^[32−33]。但这些方法缺乏对连续对话中的语义伪装或越权诱导等异常指令的预警。现有的研究提出一种语义防火墙来确保对话的安全性和合规性^[34]。语义防火墙首先会将指令转化为结构化的语义图谱或动作空间表示，识别其中所蕴含的命令性行为、目标对象与语义修饰关系，然后通过依存句法分析或语义对齐网络等技术判断指令是否存在越权角色扮演或行为伪装，最后基于判定结果触发预定义的控制规则，实现输入过滤、指令修正或交互拒绝等操作^[34−35]。

更深层次的防御举措是通过对输入

$ x $

进行动态拆解，理解模型响应用户输入

$ x $

的逻辑结构和推理路径，同时监控和审查每一个步骤的合规性。虽然异常提示检测或语义防火墙等技术能够识别出具有非法语义的指令，但是现有的攻击普遍会编织一个看似合规的指令绕过模型对输入的浅层过滤机制。为了提升GAI对输入意图的解析准确性与鲁棒性，提示工程可以视为输入指令后和GAI模型生成内容前的一道防线，通过优化模型对输入指令的解析逻辑，在内容生成前阶段建立动态安全屏障。提示工程的核心目标是引导GAI准确解读用户指令的语义边界。

思维链^[36]是一种引导GAI进行逐步推理的提示工程技术。思维链以一种“导师式”的过程干预将GAI对指令的响应过程显式拆解为一系列结构化推理步骤，使得整个指令理解过程是可观测和可干预的。思维树^[37]进一步地泛化了思维链。思维树将线性或独立的推理路径转向树状图的探索策略。它允许GAI逐级解析指令，形成具有逻辑层次或关联性的思维节点，这种形式能够更清晰、更拟人化地表达思考过程。自我一致性^[38]结合了采样和多数投票来生成多样化的思维链。这种方式鼓励GAI生成不同的推理路径或对问题的不同视角。通过这些方法，指令审查机制能够实时监控模型在指令解读过程中每一步的逻辑流，能够可溯源地追踪偏误的解读过程，从而对模糊、表达隐晦或表面合法但潜在导向危险的指令具备细粒度的风险判断能力^[37,39−40]。这种逐步推理方法能够减少生成的内容中潜在的错误或误导性信息，特别是在处理复杂和多步骤问题时，模型能够清晰地解释其推理路径。

3.2.2 生成内容管控

GAI模型在内容生成阶段的一个核心问题是生成内容的合规性。尽管GAI模型具备强大的语言生成能力，能够流畅地响应各类复杂指令，但是如果缺乏对法律、伦理和社会规范的内在理解，生成的内容可能触碰敏感、争议甚至违规的信息边界^[41]。从基本原理上，GAI模型本身并不会判断某句话是否“合适”，它只是依据语言模式生成概率上“合理”的文本。表6总结了对生成内容管控的常见防御手段。

内容过滤是确保生成内容合规性的基础性手段之一。其本质是依托

$ z_{\mathrm{fo}}={v}\left(z_{\mathrm{m}\mathrm{o}}\right) $

，通过函数

$ v(.) $

对模型输出