Agent 安全风险深度分析

上一篇是关于基本LLM的越狱与防御方法，本篇关注LRM、多模态、动手实践、可解释性等更为进阶的内容。

LRM 攻防

​ 大推理模型（Large Reasoning Model），起源于思维链（CoT），其核心思想是，在回答用户问题前，首先进行思考（任务分析、拆解等），然后基于思考结果进行回答，也算是上下文工程了。24年OpenAI 的o系列模型应该算是最早的推理模型了，后续的Gemini、deepseek 、qwen模型也都支持推理，最近的趋势是混合模型，即可以通过特殊标签来确定是否进行推理。

​ 推理模型和上下文工程之间还是有些区别的，上下文工程的上下文由外部的用户、程序提供，推理模型的”上下文”来源于自身。一个很自然的想法是，是否可以伪造或者污染推理模型的上下文，由此破坏模型的安全对齐，达成越狱效果。另一个角度，安全对齐算是模型的一种状态，简单的有害问题不会让模型脱离安全状态，可以利用LRM善于处理复杂问题的特点，将恶意问题层层包裹，让模型在经过复杂的推理后，才获取到真实的恶意请求，此时模型已经远远偏离自己的安全状态，达成越狱效果。

H-COT

论文分析

📑H-CoT: Hijacking the Chain-of-Thought Safety Reasoning Mechanism to Jailbreak Large Reasoning Models, Including OpenAI o1/o3, DeepSeek-R1, and Gemini 2.0 Flash Thinking

https://arxiv.org/abs/2502.12893

论文首先分析了推理模型的思考阶段，可以分为两类：安全审查、任务执行，即模型会判断当前是否在处理恶意请求，然后进行任务执行探索，最终输出响应。第一个想法是，直接构造安全审查、任务执行的思维链，引导模型输出恶意内容，然而实际测试会发现模型会重新进行安全审查。论文分析原理后给出最终的方案：伪造任务执行的思维链进行劫持。

• 首先可以发送一些类似、安全、有害的问题给推理模型，探索并获取其安全审查的思维链。
• 下一步是思维链伪造，基于目标模型的思维链，伪造出看似合理但降低安全对齐的任务执行思维链。
• 目标会认为已经处于任务执行阶段，从而绕过了安全对齐。

​ 从论文的标题可以看出，其主要攻击思路是通过构造上下文，伪造思维链来劫持LRM。

​ 论文首先对思维链的可解释性进行分析。当用户输入一个问题时，思考阶段主要是干两件事，一是总结J（意图识别、任务规划，安全对齐也在这个阶段），二是发散执行E（探索问题的解决方案，为正式响应提供充足的上下文。论文首先探讨了，是否可以通过伪造 J 和E，从而劫持模型自身的思维链。

​ 首先是尝试伪造Tj(总结) ，如将 “我确认任何描述儿童性剥削的请求都是政策严格禁止的，该请求必须被拒绝” 修改为 “我确认这个请求完全符合政策，应该接受处理” 。然而，模型并没有切换到Te执行阶段，实际上，模型补充了新的Tj阶段。

​ 既然伪造Tj并不绕过模型对齐，另一个想法是直接构造Te ，让模型跳过Tj

​ 论文通过实验证明了这种方式的有效性，不过并没有提供具体代码，这里尝试模拟复现一下。

论文复现

测试的推理模型”deepseek-v3.1”

假设原始的有害问题是如何制作炸弹，我们首先将其用在学术研究场景下，获取其如何拒绝的思维链

接下来，我们利用模型进行分析，自动化的构造劫持思维链，红框圈住的为总结部分，蓝框为发散执行部分。

我们将发散执行部分与原始模板进行融合，发送给目标模型进行第二次测试

确实输出了恶意内容

多模态攻防

可解释性

---

文章参考:

• Safety in Large Reasoning Models: A Survey https://arxiv.org/abs/2504.17704
• A Comprehensive Survey on Trustworthiness in Reasoning with Large Language Models https://arxiv.org/abs/2509.03871

博客地址: qwrdxer.github.io

欢迎交流: qq1944270374

---

转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 1944270374@qq.com