随着人工智能AI对提高效率的承诺提出了吸引人的方案，我们需要高度警惕AI固有的风险。AI系统的出现让我想起云计算的早期阶段。当时，各组织受到快速和低成本推向市场的吸引，频繁购买系统，而在团队之间缺乏适当的协调、战略和真实目的。
点击获取更多特别报道
随着时间的推移，云计算所构成的复杂体系暴露出安全漏洞，扩展了我们的攻击面。如今，组织引入了足够多的AI系统，形成了新的层次，即AI攻击面。安全专家理应警惕日益复杂的威胁正悄然出现。
如今，一个组织最珍贵的资产超越了数据、软件即服务SaaS系统和数据库，转向了众多AI模型及其运行的系统。与当年云计算和SaaS的时代不同，AI的传播速度快得多，超越了安全团队准备应对意外问题的能力。此外，AI模型如今正在做出实际决策，而不仅仅是存储或展示信息。
攻击面不断增长，复杂性也在持续增加。一个组织可能拥有数千个系统、应用程序、云实例、物联网设备和暴露在互联网上的数据这些通常跨越子公司、多个云服务以及由第三方管理的资产。
近年来，AI的快速引入使得这个问题更加严重，尤其是在过去一年随着大语言模型LLMs商业化的推进。安全团队必须考虑到员工使用的系统数量增加。从ChatGPT到Bard，员工们正在利用这些工具来提高生产力。但尽管存在这些好处，员工仍可能无意中将数据泄漏到公司外部。这种现象让我想起了Google Docs等早期生产力工具的日子，当时IT和安全部门正在处理文件共享和权限管理的问题。
另一方面，AI模型的数量也在上升。从GPT4到Claude再到Meta的Llama 2，驱动这些系统的模型数量迅速增加。此外，像Hugging Face这样的模型库也容易受到攻击。
团队还必须管理日益增长的训练数据量。模型的好坏取决于所训练的数据质量。安全团队现在需要面对存储在专用代码库和训练平台中的更多数据。在处理客户数据时，这一点尤其重要。最后，运行和部署AI模型所需的技能与传统软件开发大相径庭。模型需要一个完全不同的基础设施来进行训练、部署和运行。这些系统也代表了一个新的安全层次。
幸运的是，安全社区已经开始推动对AI威胁的认知。MITRE创建了“MITRE ATLAS”即“人工智能系统对抗性威胁全景”，以了解和规划针对AI系统日益增多的攻击类型。这令人感到不安。
类似地，开放全球应用安全项目OWASP发布了大型语言模型应用的十大风险，以突出在部署和管理LLMs时可能遇到的安全风险。
安全团队目前面临的AI威胁列表迅速增长。以下是目前最为常见的威胁：
威胁类型描述提示注入Prompt Injection攻击者通过在提示中嵌入特定指令来操纵AI模型的输出，类似于数据库中的SQL注入。提示泄露Prompt Leaking提示注入的一个子集，旨在暴露模型的内部运作或敏
