AI大模型测评：Top开源大模型安全测评报告(2024)

《Top开源大模型安全测评报告(2024)》由中国软件评测中心发布。报告聚焦国内外开源大模型的安全风险测评，通过选取典型的12家20款开源大模型，从国家安全、道德伦理、公民权利、公共安全、历史文化、医疗卫生、隐私信息、不良信息、商业金融、基础安全、网络安全和模型滥用等12个方面展开深入安全测评，旨在提高大模型厂商的安全意识和保障行业用户的合法权益，并通过系统性分析国内外开源大模型安全的综合表现，为人工智能大模型产业各界提供参考。

研究报告内容摘要如下

开源大模型安全现状

从大模型安全风险等级来看，国外开源大模型安全风险比国内开源大模型等级高，全球人工智能安全治理工作迫在眉睫。从大模型安全风险类型来看，从国内外开源大模型在公共安全、道德伦理、不良信息和网络安全风险类型测试不通过率高。从大模型安全检测方式来看，国内外开源大模型抵御特殊构造指令攻击方式能力不足，模型容易被误导，导致输出有害内容。总体上，国内外开源大模型存在一定安全风险，内容安全防护能力较为薄弱，安全研究投入占比少。

总体情况（一）大模型安全风险总览

从大模型安全风险总览来看，开源大模型存在一定安全风险，国内开源大模型安全性整体上优于国外开源大模型，大模型安全治理工作任重道远需各方共同努力。

总体情况（二）大模型安全风险类型分布

从大模型安全风险类型分布来看，公共安全、道德伦理、不良信息和网络安全风险较为严重，谨慎使用国外开源大模型作为基座模型。

总体情况（三）大模型安全风险检

从大模型安全风险检测方式来看，开源大模型在面对内容分割重组、角色伪装、直接问答、语言切换、混合攻击等检测方式时防护能力较弱，大模型如何抵御各类型的攻击方式需持续研究。

大模型安全建议

在行业自律方面，建议制定人工智能安全伦理准则，确保大模型的开发和应用符合伦理道德标准，维护国家安全，尊重公民权利，捍卫公平正义。在AI厂商方面，建议加大人工智能大模型安全研究投入，采用综合的安全策略，结合多种新兴技术手段来防御各类型变种攻击，提升人工智能大模型的内生安全能力。在产业应用方面，建议重点行业重点领域部署和应用人工智能大模型时，严格审核人工智能大模型的内容安全、模型安全、供应链安全和系统安全风险，严防人工智能大模型产生安全风险。