国家标准计划《网络安全技术 人工智能代码生成服务安全要求》由 TC260(全国网络安全标准化技术委员会)归口 ,主管部门为国家标准委。
主要起草单位 公安部第三研究所 、国家计算机网络应急技术处理协调中心 、上海人工智能创新中心 、上海商汤智能科技有限公司 、北京百度网讯科技有限公司 、阿里云计算有限公司 、腾讯云计算(北京)有限责任公司 、北京交通大学 、国家信息技术安全研究中心 、北京天融信网络安全技术有限公司 。
| 35 信息技术、办公机械 |
| 35.030 IT安全 |
本文件规定了人工智能代码生成服务的安全技术要求、以及对应的测试评价方法。主要技术内容包括: 依据服务交付形态的不同,提出针对性的安全要求:一是接口服务形态,重点规定传输安全与输入验证(防御提示词注入、恶意指令),实施输出检测(过滤包含已知漏洞或恶意逻辑的代码片段、幻觉检测);二是插件服务形态,针对运行在用户端的插件,重点规定运行环境隔离(沙箱机制,防止逃逸),实施权限最小化管控,并验证插件自身的供应链完整性;三是应用服务形态(App/SaaS): 重点规范数据隐私与脱敏(用户代码上传前的自动脱敏),建立严格的访问控制与审计机制,并要求提供生成代码的物料清单(SBOM)管理。四是IDE服务形态(集成开发环境),针对深度集成的环境,严格管控文件系统访问,对终端与命令执行进行安全拦截,并特别针对智能体(Agent)自主行为提出人工介入与鉴权要求。针对以上安全要求提出测试评价方法构建实证测试体系,包括提示词注入防御测试、代码安全性与幻觉检测、沙箱隔离与逃逸测试、数据脱敏有效性测试、终端命令执行管控测试等。