急于实施AI时被忽视的八个安全风险

在追求GenAI带来的急于生产力提升的过程中 ，大多数企业都忽视了这样做可能带来的实施时被安全影响，转而倾向于寄希望于具有变革性的忽视创新，而非采用可靠的安全安全实践 。

根据世界经济论坛与埃森哲合作进行的风险一项研究，63%的急于企业在部署AI工具之前未能评估其安全性  ，从而给企业带来了一系列风险 。实施时被

这既包括现成的忽视AI解决方案 ，也包括与软件开发团队合作创建的亿华云安全内部实现。根据Tricentis的风险2025年质量转型报告，这些团队绝大多数(45%)专注于提高交付速度 ，急于而非增强软件质量(13%)
，实施时被尽管有三分之一(32%)的忽视受访者承认
，质量低劣的安全软件很可能导致更频繁的安全漏洞或合规失败 。

而且，风险这些漏洞和失败确实越来越频繁
。思科最新发布的《网络安全准备指数》于5月7日公布
，该指数显示 ，86%的建站模板企业在过去一年中经历过与AI相关的安全事件，不到一半(45%)的企业认为其内部资源和专业知识足以进行全面的AI安全评估。

最常见的被忽视的AI安全风险

专家们表示，未能充分测试AI系统就进行部署
，会使企业面临一系列与传统软件风险显著不同的漏洞。以下是一些最常见的风险：

数据泄露

AI系统经常处理大量敏感信息，如果没有进行严格的测试，模板下载企业可能会忽视这些数据泄露的容易程度
，无论是通过不安全的存储、过于慷慨的API响应 ，还是糟糕的访问控制
 。

“许多AI系统在推理过程中会摄入用户数据，或为保持会话持久性而存储上下文 ，”AI安全测试供应商Mindgard的CEO兼联合创始人Peter Garraghan博士说 ，“如果数据处理未经过审计，就有很高的高防服务器数据泄露风险，这些风险可能通过模型输出、日志泄露或微调数据集的滥用而发生
，这些风险会因大型语言模型(LLM)的内存功能或流式输出模式而加剧。”

模型级漏洞

这些漏洞包括提示注入、越狱和对抗性提示链。如果没有严格的测试 ，模型可能会被操纵以绕过输出约束、泄露敏感数据或执行非预期任务 。

“这些攻击往往利用模型对齐机制的缺陷或其对标记级推理的依赖 。”英国兰卡斯特大学的免费模板讲师Garraghan解释道。

模型完整性和对抗性攻击

如果没有对对抗性操纵或中毒训练数据进行测试，攻击者很容易影响AI模型的行为，尤其是当该模型被用于支持业务决策或自动化敏感任务时 。

全球网络安全咨询公司CyXcel的首席运营官Jano Bermudes说：“攻击者可以操纵输入数据来欺骗AI模型，导致其做出错误决策
，这包括逃避攻击和数据中毒 。”

系统性集成风险

AI模型经常作为更大应用程序管道的一部分进行部署 ，例如通过API 、插件或检索增强生成(RAG)架构。

“在这方面测试不足可能导致模型输入和输出的不安全处理、源码库通过序列化数据格式的注入路径以及托管环境中的权限提升，”Mindgard的Garraghan说 ，“这些集成点在常规应用程序安全(AppSec)工作流程中经常被忽视 。”

访问控制失败

AI工具经常接入更广泛的系统
，如果配置不当 ，可能会给用户或攻击者超出预期的访问权限，这可能包括暴露的API密钥 、糟糕的身份验证或日志记录不足，使得滥用行为难以被发现 。

运行时安全失败

AI系统在部署期间可能仅在特定输入条件下表现出紧急行为，尤其是在与其他服务交互时
。

“逻辑损坏、上下文溢出或输出反射等漏洞通常仅在运行时出现，需要通过操作红队测试或实时流量模拟来检测。”Garraghan说 。

合规违规

未能确保AI工具符合监管标准可能导致法律后果  。

例如，由于AI工具未经授权的数据处理或未测试的模型行为导致的中断 ，可能引发监管违规。

更广泛的运营影响

“这些技术漏洞如果不经过测试
，并不会孤立存在
，”Mindgard的Garraghan说，“它们表现为更广泛的企业风险，超越了工程领域 。从运营影响的角度来看 ，AI安全测试不足的后果直接映射到安全、安全和业务保障的失败。”

合规专家ISMS.online的首席产品官Sam Peters看到了企业因忽视适当的AI安全审查而导致的广泛运营影响。

“当AI系统匆忙投入生产时，我们在三个关键领域反复看到漏洞 ：模型完整性(包括中毒和逃避攻击)、数据隐私(如训练数据泄露或敏感数据处理不当)和治理差距(从缺乏透明度到访问控制不佳) 。”他说。

Peters补充道：“这些问题并非假设;它们已经在现实中被利用  。”

针对交付进行测试

急于实施AI给CISO带来了压力，但应用安全测试公司Sparrow的首席运营官James Lei建议CISO应抵制盲目引入的热情 ，将基本安全实践纳入部署过程。

“为降低这些风险，企业应像测试任何高风险软件一样测试AI工具，运行模拟攻击、检查滥用场景 、验证输入输出流程，并确保任何处理的数据都得到适当保护。”他说
。

为降低这些风险 ，企业应实施全面的测试策略 ，例如
：

• 渗透测试  ：模拟攻击以识别漏洞

• 偏见和公平性审计：确保AI决策公平且无歧视

• 合规性检查
：验证是否符合相关法规和标准

通过将安全测试纳入AI开发生命周期，企业可以在利用AI优势的同时防范潜在威胁
。

“在部署AI工具之前 ，企业应针对AI系统进行威胁建模 
、对抗性输入的红队测试以及模型漂移和数据泄露的严格测试，”ISMS.online的Peters说，“同时
，他们应将AI特定控制纳入其风险管理和合规计划。”

Peters补充道：“这就是新的ISO/IEC 42001标准真正发挥作用的地方 ，它提供了一个负责任地治理AI的框架，包括风险评估 、数据处理
、安全控制和持续监控的指导
。”

其他专家在肯定安全测试必要性的同时 ，认为在测试AI系统安全性时需要采用不同的方法。

“与常规软件测试不同 ，你不能仅仅通过查看神经网络的代码来判断其是否安全
，”众包安全提供商Intigriti的首席黑客官Inti De Ceukelaire告诉记者，“即使它是在干净
、高质量的数据上训练的，仍然可能表现出奇怪的行为
，这使得很难知道何时测试已经足够。”

AI工具通常为简单问题提供复杂解决方案，测试人员可能只关注工具应做的事情，而忽略其他可能做的事情 。“例如，翻译工具可能被诱骗打开包含恶意代码的PDF文件或访问内部文件并为其翻译以供公司外部人员查看 。”De Ceukelaire解释道  。

企业应考虑实施专门为AI设计的对抗性测试框架。

“这包括静态模型分析、动态提示模糊测试、集成层攻击模拟和运行时行为监控 ，”Mindgard的Garraghan说，“这些实践应嵌入AI部署生命周期中，就像DevSecOps实践被集成到软件CI/CD管道中一样 。”

很赞哦!（2）