新加坡网络安全局发布《AI系统安全指南》

4.确保供应链安全

评估和监控整个系统生命周期的供应链安全。应用软件开发生命周期（SDLC）流程。使用软件开发工具检查不安全的编码实践。考虑在系统设计中实施零信任原则。在AI供应链端，确保数据、模型、编译器、软件库、开发工具和应用程序来自可信来源。使用自动数据发现工具识别各种环境中的敏感数据，包括数据库、数据湖和云存储。不受信任的第三方模型是从公共/私有资源库中获取的模型，其发布者的来源无法验证。

5. 训练数据安全

考虑是否需要使用 PII 或敏感数据来生成模型将引用的矢量数据库，例如在使用检索增强生成 (RAG) 时。考虑与使用敏感数据进行模型训练相关的权衡。企业在决定是否将敏感数据用于模型训练之前，不妨探索各种风险缓解措施，以确保非公开敏感数据的安全，例如匿名化和隐私增强技术。

6. 外部模型使用

对于 LLMs，提示工程最佳实践（如使用护栏和在单对加盐序列标记中包装指令）可作为进一步巩固模型的方法。对数据收集、数据存储、数据处理和数据使用以及代码和模型安全性进行数据安全控制。

7. 记录标识

了解人工智能相关资产的价值，包括模型、数据、提示、日志和评估，制定跟踪、验证、版本控制和保护资产的流程。建立数据和软件许可证管理流程。这包括记录数据、代码、测试用例和模型，包括任何更改和更改人。对于 PII 等敏感数据，在输入人工智能之前，应探索各种风险缓解措施，以确保非公开敏感数据的安全，如数据匿名化和隐私增强技术。

8.确保人工智能开发环境的安全

对应用程序接口、模型和数据、日志以及它们所处的环境实施适当的访问控制。根据最少特权原则，对开发环境进行基于规则和角色的访问控制。定期审查角色冲突或违反职责分工的情况，并应保留包括补救措施在内的文件。对于已离职的用户或不再需要访问权限的员工，应立即取消其访问权限。实施访问记录和监控。

9.建立事件管理程序

确保制定适当的事件响应、升级和补救计划。制定不同的事件响应计划，以应对不同类型的故障和可能与 DOS 混合的潜在攻击情景。实施取证支持，防止证据被删除。利用威胁猎取确定攻击的全部范围并调查归因。

10.发布人工智能系统

在创建新模型或数据时，计算并共享模型和数据集散列/签名，并更新相关文档，如模型卡。在可能的情况下，考虑使用对抗测试集来验证模型的稳健性。系统负责人和项目团队跟进安全测试/红队的结果，评估发现的漏洞的严重性，采取额外措施，如有必要，根据企业风险管理/网络安全政策，寻求相关实体（如首席信息安全官）的批准，以接受残余风险。

11.运营和维护

监控人工智能系统输入，监控和记录对系统的输入，如查询、提示和请求。适当的日志记录有助于合规、审计、调查和补救。人工智能系统所有者可考虑监控和验证输入提示、查询或应用程序接口请求，以防有人试图访问、修改或外泄组织视为机密的信息。如果可能，防止用户持续高频率地查询模型。

内容来源：互联网法律匠