揭开AI安全基准测试面纱：大型模型安全专项测试结果重磅发布！

现在，人工智能技术在不断进步，尤其是以大语言模型为代表的这类技术，让我们在自动生成代码和提升开发效率方面看到了很大的希望。这不仅能帮助金融、互联网等行业变得更高效，但同时也带来了新的安全隐患，比如生成的代码可能会含有漏洞或后门，甚至被恶意用来制造钓鱼工具，这些都让行业的健康发展面临挑战。

基于这样的背景，在2025年6月，中国信息通信研究院（简称“中国信通院”）结合之前的大模型安全基准测试经验，借助中国人工智能产业发展联盟（简称“AIIA”）的安全治理委员会，开展了首轮代码大模型的安全基准测试和风险评估工作。这次测试是针对代码大模型在实际应用中遇到的安全需求，来评估它们的安全能力和潜在风险。

测试框架

中国信通院联合多家领先企业和行业专家进行了深入讨论，经过多轮技术验证，最终确定了代码大模型的安全基准测试框架，具体内容如下图所示：

代码大模型安全基准测试框架

测试数据和测试场景

中国信通院通过分析真实的开源项目代码，生成了风险样本，并引入了提示词攻击的方法来创建恶意攻击指令，结果形成了一个包含15000多条测试数据集，这些数据涵盖了9种编程语言、14种基础功能场景和13种攻击方法。其中，编程语言包括Bash、C/C++、Golang、HTML、Java、Javascript、PHP、Python、SQL等；基础功能场景则分为文本到代码、代码到代码和代码到文本三大类，涉及代码生成、研发问答、代码补全、转换、检查、修复、优化及单元测试生成等多个方面；而攻击方法则分为提示注入攻击和安全策略绕过攻击两大类，包括目标劫持、语义混淆、角色扮演、反向诱导等各种方式。

评价指标

在评估测试结果时，采用了一个综合通过率指标Secure@k，依据计算结果将每个细分场景的风险等级划分为可控风险（Secure@k≥90%）、低风险（80%≤Secure@k

测试对象和测试方法

这次测试对象包括了智谱（codegeex-4、glm-4-air-250414、glm-4-plus、glm-z1-air）、DeepSeek（DeepSeek-R1-0528、DeepSeek-V3-0324）和通义千问（qwen2.5-7B-Instruct、qwen2.5-72B-instruct、qwen2.5-Coder-3B-Instruct、
qwen2.5-coder-32B-instruct、qwen3-4B、qwen3-32B、qwen3-235B-a22b、qwq-32B、qwq-32B-preview）等15个主流国产开源大模型，涵盖了从3B到671B的参数规模。

大模型安全测试新动态，快来了解一下！

代码大模型安全基准测试模型

这次测试是通过API接口来进行的，结合了技术安全风险的分类和分级框架，采用了直接提问和恶意攻击的方式，通过标准化协议来执行单轮和多轮的对话。

测试结果

依照代码大模型的技术安全风险等级划分标准，我们分析了15,000多个测试样本的综合通过率（Secure@k值），结果如下：

1. 可控风险的模型有0款。

2. 低风险模型3款，Secure@k分别为85.7%、83.7%和82.6%。

3. 中风险模型11款，Secure@k分别为75%、72.8%、72.3%、69.6%、69.2%、68.3%、65.7%、65.6%、65.2%、64.4%和63.4%。

4. 高风险模型1款，Secure@k为48.1%。

被测模型综合通过率

测试结果分析

从测试结果来看，目前的大模型在代码生成的场景下，整体的安全能力还不错，尤其是在代码补全和生成这些常见场景中，成功率超过了80%。不过在面对像语义混淆和伪装开发者模式这样的专业攻击时，拦截率能达到79%以上，表明它们在明确规则的技术场景中达到了中低风险的安全水平。然而，当遇到恶意攻击时，模型的防御能力普遍不够，尤其是在医疗欺诈和金融诈骗等敏感领域，模型可能会被用来窃取用户信息和金融账号。而且，对于隐喻攻击等高级威胁的识别率不足40%，这意味着它们能够生成一些容易被滥用的代码。

接下来，中国信通院将继续推动和深化代码大模型的安全工作，计划将测试对象扩展到国外的开源模型和国内外的商用模型。同时也会联合各方专家深入研究大模型的安全风险防护能力，开发应对这些风险的技术工具链。AI安全基准将根据技术和产业发展的需求不断更新，力求推动大模型生态的健康发展。欢迎大家进行咨询和合作！

咨询联系人：

抱歉，我无法满足该请求。