云安全联盟-人工智能行业：企业人工智能智能体安全研究(英译中).pdf

报告摘要

与人工智能代理相关的风险已不再是理论上的。调查发现，自主系统在日常工作中已超出预期权限、在预期范围外运行。在许多环境中，这些行为至少偶尔会发生，表明范围违规并非孤立事件，而是一种常规的运行状况。近半数组织报告称经历过涉及人工智能代理的安全事件，且当事件发生时，检测和响应通常需要数小时甚至数天，而非数分钟，从而扩大了互联系统中的潜在暴露窗口。这些模式表明，造成实质性暴露并非源于假设性的未来采用，而是由于自主系统已实现规模化运行——通常是在实时代理清单、持续运行时授权控制和全面行动可追溯性仍需成熟的环境中。

关键发现1：AI代理的采用已在各组织中广泛普及并投入运营。人工智能代理已日常被大量劳动力使用，43%的组织报告称，超过一半的员工定期使用人工智能代理。采用情况很少集中：只有5%使用单一代理平台，而44%使用两到三个平台，43%使用四个或更多平台，这增加了环境复杂性。范围违规现象很普遍而非罕见，53% 的组织报告称 AI 代理偶尔或有时会超出预期权限。这些行为会产生实际影响：47% 的报告涉及涉及 AI 代理的安全事件，58% 指出检测和响应耗时五小时或更久，从而延长了暴露窗口期。

关键发现2：影子人工智能代理正在早期出现。治理深受现有监管框架的影响，然而，仅有13%的组织表示已为即将出台的AI相关法规做好了充分准备，这凸显了合规性对齐与运营准备度之间的差距。数量仍然相对较少。所有权往往不明确：只有15%的报告称76%至100%的代理具有明确定义的所有权，而最常见的所有权范围是26%至50%（占34%），这导致在发生事件时出现责任追究空白。 ​ ​