国家标准计划《人工智能社会实验 评价指南》由 SWG35(全国智能技术社会应用与评估基础标准化工作组)归口 ,主管部门为国家标准委。
主要起草单位 中国标准化研究院 、清华大学 、浙江大学 、中移信息系统集成有限公司…… 。
| 35 信息技术、办公机械 |
| 35.240 信息技术应用 |
| 35.240.01 信息技术应用综合 |
1.范围 本文件提供了人工智能社会实验评价的评价体系和流程,确立了评价人工智能社会实验的术语和定义、评价原则、评价指标体系,提供了评价指标的取值规则、评价结果的形成规则、评价流程等方法参考,为人工智能社会实验的评价提供通用方法和工具。 本文件适用于全国各地的国家智能社会治理实验基地、国家新一代人工智能创新发展试验区的建设者、管理者、实验研究主体开展实验评价。 2.主要技术内容 《人工智能社会实验 评价指南》国家推荐性标准,为全国各地的国家智能社会治理实验基地、国家新一代人工智能创新发展试验区,开展人工智能社会实验的研究人员,以及各有关方面客观公正地评价人工智能社会实验的设计、开展和成果反馈等各阶段的科学性和规范性,规定了术语和定义、评价原则、评价指标体系、取值规则、评价结果以及评价流程。 (一)术语定义。通过术语定义明确开展人工智能社会实验评价工作的常用概念。 (二)评价原则。明确评价人员在开展人工智能社会实验的评价工作应当遵循的一组基本方针和要求。 (三)评价指标体系。明确评价方在开展评价前确立评价指标时应当注意的事项,包括通则、评价指标体系框架、评价指标的设立方法,以及具体在实验场景建设、实验流程管理、实验结果反馈、实验组织保障等四个方面可以参考使用的评价指标的大致内容。 (四)取值规则。明确评价方可以根据人工智能社会实验具体适用场景选择适用的取值方法,包括统计数据法、试验/测量法、证据判断法、量表法、主观赋值法。 (五)评价结果。明确人工智能社会实验的评价结果的得出方法,以及评价报告的组成部分。 (六)评价流程。明确人工智能社会实验评价工作的基本流程,包括确定评价目标、制定评价方案、设计指标体系、设置指标权重、收集数据及支撑材料、分析论证、编制评价报告。