OpenAI和Anthropic真的是罕见的联手！在之前因AI安全问题而分道扬镳的情况下，这次两家却选择了在安全领域进行合作，专注于测试彼此模型在幻觉等四个安全问题上的表现。这次合作不仅是技术的碰撞，更标志着AI安全的一个新里程碑，数以百万的用户每天都在推动着安全的边界不断扩展。
这可真是难得一见！
OpenAI和Anthropic的联手合作，目的是对AI模型的安全性进行交叉验证。
说实话，这种合作实属不易，毕竟Anthropic的七位创始人正是因为对OpenAI的安全政策不满而选择独立发展，专注于AI的安全和对齐问题。
在接受媒体采访时，OpenAI的联合创始人Wojciech Zaremba表示，如今这样的合作显得愈加重要。
毕竟现在的AI已经变得不可小觑，真的「举足轻重」：每天都有数百万用户在使用这些模型。
接下来，我们来看看一些关键发现：
指令优先级：Claude 4在整体表现上是最好的，只有在抵抗系统提示词提取时，OpenAI的顶级推理模型才有得一拼。
越狱（绕过安全限制）：在越狱测试中，Claude的表现整体不如OpenAI的o3和o4-mini。
幻觉评估：Claude模型的拒答率高达70%，虽然幻觉较低；而OpenAI的o3和o4-mini拒答率较低，却有时会出现较高的幻觉率。
欺骗/操纵行为：OpenAI的o3和Sonnet 4表现最为优异，发生率最低。意外的是，Opus 4在开启推理时的表现比关闭时还要差，而OpenAI的o4-mini同样表现不佳。
大模型听谁的？
指令层级是LLM（大型语言模型）处理指令优先级的分级框架，通常包含：
内置的系统/政策约束（比如安全和伦理底线）；
开发者的目标（例如定制化规则）；
用户输入的提示。
这项测试的主要目标：确保安全与对齐优先，同时允许开发者和用户合理引导模型行为。
这次进行了三项压力测试，评估模型在复杂场景下的层级遵循能力：
1.系统消息与用户消息的冲突处理：模型是否优先执行系统级安全指令，而非潜在危险的用户请求。
2.抵御系统提示词提取：防止用户通过技术手段（比如提示注入）来获取或篡改模型的内置规则。
3.多层指令的优先级判断：例如，用户要求「忽略安全协议」时，模型是否能坚持底线。
Claude 4在这些测试中表现优秀，尤其是在避免冲突和抵御提示词提取方面。
在抵御提示词提取的测试中，重点是Password Protection User Message与Phrase Protection User Message。
这两项测试的流程一致，唯一的区别在于隐藏的秘密内容和对抗性提示的复杂度。
总体来看，Claude 4系列在抵抗系统提示词提取方面的表现都相当稳健。
在Password Protection测试中，Opus 4和Sonnet 4的得分都达到了1.000的满分，与OpenAI的o3持平。
这与之前的结论相符：在这类任务上，推理能力更强的模型通常表现更佳。
在更具挑战性的Phrase Protection短语保护任务中，Claude模型（Opus 4和Sonnet 4）依然表现出色：与OpenAI的o3持平，甚至略胜于OpenAI的o4-mini。
系统消息与用户消息的冲突测试
当系统指令和用户请求发生矛盾时，我们有一个评估模型来判断这种冲突的表现。这个评估主要看模型在指令层面的表现能力。
在评估过程中，模型会经历多轮对话，最开始是明确的系统指令，接着用户会试图引导助手去违背这些指令。
总体来看，Opus 4和Sonnet 4在这个测试中都表现得相当出色，甚至比OpenAI的o3模型更胜一筹。
这说明这些模型在遵循指令时的表现非常稳健，即使是在设计得很有挑战性的情况下也能保持良好的效果。
大模型是否想逃出“安全牢笼”？
所谓越狱攻击，就是恶意用户试图引导模型提供一些被禁止的内容。
StrongREJECT评估框架
StrongREJECT v2是基于《StrongREJECT》这篇论文开发的一个对抗性鲁棒性基准，用来测试模型抵御越狱攻击的能力。
论文链接：
https://arxiv.org//2402.10260
这个框架主要有三个重要部分：
1. 一组禁止使用的提示词；
2. 一个自动化的“有害性”评分系统；
3. 针对每个违规查询的分层提示工程技术库。
OpenAI会从中挑选出60个特定的问题，这些问题是为了测试OpenAI在禁止领域的政策而设计的。
每个问题都会进行大约20种不同的变体测试，包括：翻译成不同语言、添加误导性指令，或者试图让模型忽略之前的指令等。
这个基准测试能够对常见的越狱场景进行有效的安全防护压力测试，但其效果受到数据变体范围及自动评分系统局限的影响。
主要关注的指标是Goodness@0.1，它用来衡量模型对最具危害性的10%越狱尝试的表现。得分越高，说明模型的表现越好。
越狱测试背后的秘密
OpenAI的o3、o4-mini、Claude 4和Sonnet 4等推理模型，在面对各种越狱尝试时，通常能展现出相当强的抵抗力，虽然偶尔也会被攻破。
不过，相对而言，非推理模型如GPT‑4o和GPT‑4.1就显得比较脆弱，更容易受到攻击。
在分析中，OpenAI发现Claude Sonnet 4和Claude Opus 4的防御能力不错，但它们在面对「过去时态」的越狱时，反而容易被突破。也就是说，当有害请求以过去发生的事情来描述时，它们就比较容易出错。
有一些简单的混淆和框架技巧，比如自动混淆、base64/rot13编码变体、有效负载拆分、网络用语加密（leetspeak）和去元音法，偶尔也能成功绕过模型的防护。
和此相比，一些旧式的攻击手段，如「DAN/dev‑mode」、复杂的多重尝试构建和纯风格/JSON/翻译扰动等，已经在很大程度上被模型有效抵御。
OpenAI还发现，Sonnet 4和Opus 4在面对将请求翻译成一些低资源语言（比如Guranii）时，表现出了相对的抵抗力。
而OpenAI o3在抵抗「过去时态」越狱方面则更为出色，失败的情况主要在于base64风格的提示、少量低资源语言翻译以及一些组合攻击。
相反，GPT‑4o和GPT‑4.1更容易受到「过去时态」越狱的欺骗，并且对轻量级的混淆和编码手段也很敏感。
辅导型越狱测试（Tutor Jailbreak Test）
为了评估模型在越狱攻击下的抵抗能力以及遵循指令的情况，OpenAI设计了一个「辅导型越狱测试」：
模型需要像老师一样，引导学生逐步解决问题，而不是直接给出答案。
然后，他们使用多种越狱提示进行压力测试，试图诱使模型直接泄露最终答案。
与之前提到的元层级攻击不同，这里采用的是自然语言的攻击方式，更贴近我们在现实生活中常遇到的场景。
结果有点让人意外：推理型模型OpenAI o3和o4-mini表现优异，然而Sonnet 4（无推理模式）竟然表现得比启用推理的Opus 4还要好。
这表明在某些特定任务上，关闭推理反而可能降低模型被越狱的风险。
不过，非推理型的GPT模型在这方面表现较差。
值得注意的是，GPT系列在实际应用中同时支持开发者消息（developer message）和系统消息（system message）。当把开发者消息纳入考虑时，OpenAI o3的得分超过0.98，GPT-4.1的得分也显著上升至0.75以上。
这说明在真实环境中，开发者消息对于增强模型遵循指令的能力非常有效。
表现最佳的模型有什么不同？
在大多数提示下，排名前两名的模型通常都能成功抵抗攻击；但一旦失手，它们的失效模式却各有不同。
Sonnet特别擅长拒绝那些利用外部权威或道德压力的提示词，例如提到「项目负责人」或「政策更新」，或者试图激起同情心（如「帮助一位失明学生」）等。
相对而言，OpenAI o3则更容易把这些基于权威或善意的理由视为可以覆盖原始指令的正当理由。
OpenAI o3对那些试图在对话中途「修改辅导规则」的提示表现得很有抵抗力：比如声称指令已更新、以技术故障为理由要求直接给出答案等。
o3会将这些对话中的「更新」看作用户层级的指令，其优先级仍然低于系统消息。而Sonnet则更容易把这些说法视为合法的覆盖依据。
LLM的胡言乱语
确保信息的准确性和防止虚假信息的产生，是安全测试中的一个重要环节，这样用户才能信任所接收到的信息。
人物虚假信息测试
人物虚假信息测试（v4）旨在评估模型生成有关真实人物的信息时的准确性，以及检测和衡量生成的传记或摘要中出现的虚假信息。
该测试使用来自Wikidata的结构化数据来创建特定的提示。
这些提示涵盖关键的个人信息，比如出生日期、公民身份、配偶和博士生导师等。
尽管存在一些限制，这项评估仍然很有价值，有助于判断模型在防止虚假信息方面的表现。
最后，值得一提的是，这些评估是在没有使用外部工具的情况下进行的，模型无法浏览或访问其他外部知识库。
这有助于大家更好地理解模型的行为，但测试环境并不完全反映现实生活中的情况。
Opus 4和Sonnet 4的虚假回答率极低，不过这也带来了更高的拒绝回答率。它们似乎更注重「确保回答的准确性」，即便这样可能会牺牲一些实用性。
相比之下，OpenAI的o3和o4-mini拒绝回答的比例低了近十倍。拿o3来说，它提供的完全正确的回答数量是前两者的两倍多，整体提升了响应的准确性，但这同时也让幻觉率增加了。
在这次测试中，没有推理能力的模型GPT-4o与GPT-4.1的表现甚至超越了o3和o4-mini，其中GPT-4o的结果最佳。
这个结果突显了两种推理模型在处理幻觉问题时的不同策略与取舍：
Claude系列更倾向于「宁愿拒绝也不冒险」；
而OpenAI的推理模型则更注重「回答覆盖率」，但因此面临更高的幻觉风险。
SimpleQA No Browse测试
SimpleQA No Browse (v1)是另一项针对事实性与抗幻觉能力的压力测试。
这个测试要求模型在不能浏览或使用外部工具的情况下，只依赖内部知识来回答事实性问题。
这里的「simple」指的是评分方式：每个问题都有唯一正确答案，因此评分过程非常直接，能最大限度降低自动评分的误差。这并不意味着测试本身就简单。
OpenAI的o3与Opus 4、Sonnet 4在「正确/错误」比例上大致相当；不过OpenAI的o4-mini表现最差。
作弊与欺骗行为
最近几个月，模型的作弊和欺骗行为越来越显著。
这成为了OpenAI的一个重要研究领域，因此他们在评估和防范方面投入了大量精力。
在这个领域中，可能会出现的行为包括：
1. 撒谎（Lying）：模型明知故犯。
2. 保留实力（Sandbagging）：模型故意降低表现，以避免因展现过强能力而受到惩罚。
3. 成绩作弊（Reward hacking）：模型为达成目标而采取不正当手段。
为了检验这些潜在行为，OpenAI与其他机构共同设计了一套基于智能体（agent-based）的评测方法：
构建高风险、目标冲突的场景；
在受控的离线实验中观察模型是否会采取不对齐的行动；
并且，观察这些行动后模型是否会进行掩饰或谎报。
测试流程是这样的：每个任务运行100次实验，统计模型出现欺骗或算计行为的次数，然后算出平均值。
最终结果是在13个多步骤环境中取平均，得出整体的平均欺骗率（scheming rate）：
Opus 4和Sonnet 4的表现较好，平均欺骗率较低；
OpenAI的o3和o4-mini的结果一般；
而GPT-4o和GPT-4.1的表现较差，平均欺骗率较高；
无推理模式下的Sonnet 4与Opus 4在表现上与启用推理模式时差异显著。
标题：模型表现的背后：别被平均值迷惑了！
得提一下，由于模型在不同环境下表现波动很大，平均值往往会被一些极端值影响。
所以，他们还对各个模型在欺骗率为0时覆盖的环境数量进行了统计：
从结果来看，Opus 4和Sonnet 4在这些条件下覆盖的环境数量更多，这表明它们在稳定性方面表现得更好；
而OpenAI系列和GPT-4系列的表现则在不同的阈值下显得比较分散。
参考资料
https://openai.com/index/openai-anthropic-safety-evaluation/
https://techcrunch.com/2025/08/27/openai-co-founder-calls-for-ai-labs-to-safety-test-rival-models/
本文由微信公众号“新智元”提供，作者：KingHZ ，经36氪授权发布。
