新加坡网络安全局发布《AI系统安全指南》

这是新加坡政府机构今年第三次发布AI安全相关文件。 新加坡在人工智能领域的安全治理野望，属于路人皆知的存在。

继新加坡在2024年5月30日发布的《生成式人工智能的治理框架》，2024年9月23日新加坡最高人民法院发布《关于法院用户使用生成式人工智能工具指南》之后，新加坡又双叒叕发布和AI安全有关的指南。

2024年10月15日，新加坡网络安全局 （CSA） 制定并一口气发布了 《AI 系统安全指南》及其配套指南——《AI 系统安全配套指南》，以帮助系统所有者在 AI 的整个生命周期内保护 AI。这两个指南将有助于保护 AI 系统免受供应链攻击等传统网络安全风险和对抗性机器学习等新风险的影响。

指南可以称作是网络协作的典型，本身并不属于法规规范，而是来自工业界和学术界的实用措施、安全控制和最佳实践，引用了 MITRE ATLAS 数据库和 OWASP 机器学习和生成式 AI 的 10 大资源。

新加坡认为，要获得 AI 的好处，用户必须确信 AI 将按设计运行，并且结果是安全可靠的。但是，除了安全风险之外，AI 系统还可能容易受到对抗性攻击，恶意行为者会故意操纵或欺骗 AI 系统。AI 的采用可能会给企业系统带来或加剧现有的网络安全风险。这可能会导致数据泄露或数据泄露等风险，或导致有害或不希望的模型结果。

因此，作为一项关键原则，AI 应该在设计上是安全的，并且与所有软件系统一样，应该是默认安全的。这将使系统所有者能够管理上游的安全风险。这将补充系统所有者为解决 AI 安全问题而可能采取的其他控制和缓解策略，以及公平性或透明度等其他随之而来的考虑因素，这些因素在此处未涉及。

01 谁应当看？ 指南认为其面向的对象主要分为三类，一是负责监督人工智能系统实施人工智能的战略和运营方面的决策人员，即负责制定人工智能计划的愿景和目标、定义产品要求、分配资源、确保合规性以及评估风险和效益的人员，角色包括产品经理、项目经理。 其二，包括负责AI整个生命周期的实际应用开发的从业人员（即设计、开发和实施人工智能模型和解决方案），如人工智能/ML 开发人员、人工智能/ML 工程师、数据科学家。 最后，包括网络安全从业⼈员，即负责确保人工智能系统的安全性和完整性的人员，包括 IT 安全从业人员、网络安全专家。 02 从风险评估开始 人工智能系统所有者应考虑从风险评估入手，重点关注人工智能系统的安全风险，其次，根据风险程度、影响和可用资源，确定应对风险的优先次序，再次确定并实施相关行动，确保人工智能系统的安全，最后评估残余风险，以减轻或接受风险。

1. 规划设计

要保持全员提高对AI安全风险的认识和能力，例如，LLM 安全事项、常见的人工智能弱点和攻击。建立合适的跨职能团队，确保从一开始就将安全、风险和合规性考虑在内。 AI 系统需要大量数据进行训练；有些还需要导入外部模型和库。如果保护不充分，AI 系统可能会受到供应链攻击的破坏，或者可能容易受到 AI 模型或底层 IT 基础设施中的漏洞的入侵或未经授权的访问。此外，如果云服务、数据中心运营或其他数字基础设施中断（例如通过拒绝服务攻击），组织和用户可能会失去访问和使用 AI 工具的能力，这反过来可能会使依赖 AI 工具的系统瘫痪。

2.进行安全风险评估

采用整体流程来模拟系统面临的威胁。制定/开发操作手册和人工智能事件处理程序，缩短补救时间，减少不必要步骤的资源浪费。 在实践中，需要有效区别传统网络风险和基于AI的特定风险。保护 AI 系统会带来传统 IT 系统中可能不熟悉的新挑战，除了经典的网络安全风险外，AI 本身还容易受到新型攻击，例如对抗性机器学习 （ML），这些攻击旨在扭曲模型的行为。

AI 与传统软件之间的根本区别在于，传统软件依赖于静态规则和显式编程，而 AI 使用机器学习和神经网络来自主学习和做出决策，而无需为每项任务提供详细说明。因此，组织应考虑比传统系统更频繁地进行风险评估，即使他们的风险评估方法通常基于现有的治理和政策。这些评估还可以通过持续监测和强大的反馈循环来补充。

3.生命周期合规

AI有五个关键阶段 – 规划和设计、开发、部署、运营和维护以及生命周期结束。与良好的网络安全实践一样，CSA 建议系统所有者采用生命周期方法来考虑安全风险。仅强化 AI 模型不足以确保全面防御 AI 相关威胁。AI 系统整个生命周期中涉及的所有利益相关者都应寻求更好地了解安全威胁及其对 AI 系统预期结果的潜在影响，以及需要做出哪些决策或权衡。 AI 生命周期表示设计 AI 解决方案以满足业务或运营需求的迭代过程。因此，系统所有者在交付 AI 解决方案时，可能会多次重新审视生命周期中的规划和设计、开发和部署步骤。

未完待续,请点击[下一页]继续阅读