国家标准计划《人工智能医疗器械 质量要求和评价 第3部分：数据标注通用要求》由 464（国家药监局）归口 ，主管部门为国家药监局。

主要起草单位 中国食品药品检定研究院 、国家药品监督管理局医疗器械技术审评中心 、上海长征医院 、中国人民解放军总医院 、中山大学中山眼科中心 、四川大学华西医院 、广东省人民医院 、中国医学科学院皮肤病医院（中国医学科学院皮肤病研究所） 、中国科学院深圳先进技术研究院 、浙江大学 、广州大学 、深圳大学 、北京大学 、中国科学院自动化研究所 、中国生物医学工程学会 、河南省医疗器械检验所 、腾讯医疗健康（深圳）有限公司 、上海联影智能医疗科技有限公司 、飞利浦（中国）投资有限公司 、上海西门子医疗器械有限公司 、通用电气医疗系统贸易发展(上海)有限公司 、推想医疗科技股份有限公司 、北京安德医智科技有限公司 。

1.必要性 数据作为进行人工智能医疗器械产品研发、测试、质控的基础，其质量直接决定了最终系统的功能和性能，提高数据质量的方法除了对于采集来源等进行约束外，对数据内容进行数据治理是重要的手段，其中对数据进行标注（如图像中关键区域的标识、分类，文本的分词、实体关系抽取等）是必须和基础的处理步骤。

尤其对于医学相关数据的标注有其自身特性和领域的规范，包括对标注的人员要求高、标注内容需权威医学专家形成共识、标注过程符合伦理隐私要求、标注方法等。

与之形成巨大差异的是目前医学人工智能领域的数据标注缺乏规范和标准，以各个研究机构、医疗机构、企业自行进行，存在标注内容不科学、标注人员参差不齐、标注质量不可保证等致命性缺陷，导致基于此类数据集开发医疗器械质量不可评价、各厂家之间标准不统一、产品宣称与实际应用指标相差巨大等问题，严重制约人工智能医疗器械的推广和行业健康发展。

同时，因为目前行业内具有影响力的一些公开数据集，例如肺结节数据集主要由NIH等国外机构发布，标注方法和内容由国外政府支持的机构控制，导致我国在领域存在受限于国外的情况，并不能排除国外机构利用标准和专利等手段对我国的相关产业进行封锁和打击等风险。

因此在技术发展、产业效益、国家安全等层面分析，都需要制定人工智能医疗器械的数据治理标准，其中数据标注是基础性标准之一。

2.可行性论证 本标准的当前技术内容来自国家药监局2022年发布的YY/T 1833.3-2022《人工智能医疗器械 质量要求和评价 第3部分：数据标注通用要求》。

该标准首次提出了标注任务说明文档要求、标注质量特性、标注流程质控要求、标注工具要求、评价方法五大要素，形成了标注质量评价的通用框架。

本标准贯穿于数据标注的全生命周期，考虑了标注结果的使用者以及监管方的需求，在文档、技术工具、过程管理、质量验收等四大方面形成闭环。

YY/T 1833.3-2022在2023年9月正式实施，已开展过实施评价，相关各方的反馈均为满意。

目前，国内医疗器械检验机构已纷纷具备检测能力和检测经验，说明本标准具有应用落地的基础。

3.拟解决的问题 本标准用于对人工智能医疗器械数据标注过程及结果进行质量评价，包括对文档、标注结果、标注记录、标注工具开展评价，旨在将数据标注活动纳入人工智能医疗器械全生命周期监管体系，加强标注责任方的合规性，确保数据标注结果的准确性和可靠性，从另一个侧面促进数据集供应链的高质量发展。

本标准有助于加强标注人员的培训、考核，以及带动标注工具科学有序发展，提升标注过程的规范性、安全性。

本标准是人工智能医疗器械数据标注的基础标准，在制定过程中，参考了国内各种临床方向和场景下的标注专家共识，考虑了各种常见模态的实际情况。 本标准的范围是：本文件规定了人工智能医疗器械数据标注通用要求和评价方法。本文件适用于人工智能医疗器械数据标注活动。。 本标准第四章提出了数据集标注任务说明文档的通用要求，包括人机料法环等具体细节。本标准第五章提出了数据标注质量特性的含义及表征，用于指导标注责任方在标注前明确设计输入或预期的指标；该章节的内容与YY/T 1833.3-2022形成呼应。本标准第六章提出了数据标注过程质控的要求，用于指导标注责任方开展过程管理并形成必要的可追溯记录。本标准第7章提出了数据标注工具的推荐性技术要求，包括软件功能、数据安全和网络安全等方面，有助于指导标注责任方科学合理地选用标注工具，更好地控制风险。本标准第8章提出了数据标注质量评价的方法，对前面三章的内容进行验证，最终形成评价报告，实现闭环。