近日，OWASP发布了Top 10 for Large Language Model Applications项目，旨在教育开发人员、设计师、架构师、经理和组织了解部署和管理大语言模型LLM时的潜在安全风险。

(资料图片)

该项目提供了一个常见于LLM应用中的十个最关键漏洞的列表，突出了它们在现实应用中的潜在影响、易于利用的程度以及普遍性。这些漏洞的示例包括提示注入、数据泄露、沙箱隔离不足和未经授权的代码执行等。旨在提高对这些漏洞的意识，提出修复策略，并最终改善LLM应用的安全状况。

当前发布的是draft Top 10 list version 0.1，内容如下：

LLM01:2023：提示注入Prompt Injections

描述：通过精心设计的提示绕过过滤器或操纵LLM，使模型忽略先前的指令或执行意外操作。

LLM02:2023：数据泄露Data Leakage

描述：通过LLM的响应意外地泄露敏感信息、专有算法或其他机密细节。

LLM03:2023：沙箱隔离不足Inadequate Sandboxing

描述：在LLM访问外部资源或敏感系统时未能正确隔离，可能导致潜在的利用和未经授权访问。

LLM04:2023：未经授权的代码执行Unauthorized Code Execution

描述：利用LLM通过自然语言提示在基础系统上执行恶意代码、命令或操作。

LLM05:2023：SSRF漏洞SSRF Vulnerabilities

描述：利用LLM执行意外请求或访问受限资源，如内部服务、API或数据存储。

LLM06:2023：过度依赖LLM生成的内容Overreliance on LLM-generated Content

描述：过度依赖LLM生成的内容而没有人工监督可能导致有害后果。

LLM07:2023：AI对齐不足Inadequate AI Alignment

描述：未能确保LLM的目标和行为与预期的用例相一致，导致不希望的后果或漏洞。

LLM08:2023：访问控制不足Insufficient Access Controls

描述：未正确实施访问控制或身份验证，允许未经授权的用户与LLM交互并可能利用漏洞。

LLM09:2023：错误处理不当Improper Error Handling

描述：暴露可能揭示敏感信息、系统详细信息或潜在攻击向量的错误消息或调试信息。

LLM10:2023：训练数据污染Training Data Poisoning

描述：恶意操纵训练数据或微调过程，引入漏洞或后门到LLM中。

OWASP LLM Top 10的业界影响

对于这一项目的缘起，Steve Wilson（该项目的发起人）在LinkedIn上发文说：尽管最近有很多关于新的LLM相关安全威胁的文章，但没有一个经过深思熟虑和审查的资源供开发人员和安全研究人员学习。虽然OWASP Top 10项目是“为开发人员和网络应用安全团队”提供的杰出资源，但这些基于LLM的新应用具有与标准Web应用程序不同的独特要求。因此，我提议创建一个新的OWASP Top 10大型语言模型应用程序列表。该项目刚刚获得OWASP董事会的批准，您可以在OWASP网站上访问新的主页。如果您希望深入参与，我们还有一个新的GitHub代码库供您使用。

Steve Wilson目前就任于Contrast Security，担任首席产品官。

虽然该项目列表尚未最终确定，仍在讨论和更新，但已经引起了业界众多网络安全公司的重视，并开始从各自擅长的领域入手火速跟进。

‍

关于OWASP

Open Worldwide Application Security Project (OWASP)是一个非盈利基金会，致力于改善软件的安全性。OWASP是一个开放的社区，致力于帮助组织构思、开发、获取、运营和维护可信赖的应用程序。我们的所有项目、工具、文档、论坛和分支机构都对任何对改进应用安全感兴趣的人免费开放。

OWASP基金会于2001年12月1日成立，并于2004年4月21日正式成为美国非营利慈善机构。

相关链接：

https://owasp.org/www-project-top-10-for-large-language-model-applications/

https://owasp.org/www-project-top-10-for-large-language-model-applications/descriptions/

https://www.linkedin.com/pulse/announcing-owasp-top-10-large-language-models-ai-project-steve-wilson/

https://github.com/OWASP/www-project-top-10-for-large-language-model-applications#owasp-top-10-for-large-language-model-applications