国家标准计划《人工智能 边端设备模型部署工具链功能要求》由 TC28（全国信息技术标准化技术委员会）归口，TC28SC42（全国信息技术标准化技术委员会人工智能分会）执行 ，主管部门为国家标准委。

主要起草单位 中国电子技术标准化研究院 、美的集团（上海）有限公司 、上海商汤智能科技有限公司 、深圳云天励飞技术股份有限公司 、海信集团控股股份有限公司 、深圳市矽赫科技有限公司 、北京理工大学 、北京航空航天大学 、中科南京信息高铁研究院 、武汉大学 、西北工业大学 、北京嘀嘀无限科技发展有限公司 、杭州海康威视数字技术股份有限公司 、鹏城实验室等 。

随着5G与AI的快速发展，边端设备上运行AI算法成为了IoT的主流方式。

对于移动终端和IoT设备，由于硬件资源限制，云侧的模型和推理运行框架体积太大，无法直接部署，因此模型的压缩和运行框架的轻量化成为移动终端和IoT设备上部署的关键。

在AIoT的趋势下，边端设备资源受限的条件下，需部署轻量的AI算法模型用于语音、视觉等应用。

致力于围绕该产业的各个厂商设计生产了针对深度学习从训练、优化、部署、硬件加速的各种工具。

如主流的模型训练框架TensorFlow、Pytorch、Caffe和MXNet等。

硬件上如超低算力的MCU，定制化的AI芯片等以及语音模组、视觉模组等封装模块产品。

该产业应用范围广泛，但缺少标准化流程及规范。

本标准针对以上问题，致力于解决AIoT产业所面临的碎片化问题，加速AI的部署和普及，极大地降低了面对不同硬件和场景而迁移平台的成本和开发周期。

本文件给出边端设备模型部署工具链的组成框架，规定其功能要求。 本文件适用于人工智能领域深度学习模型在边端设备上运行能力的设计、研发、推广和应用。 技术内容：主要包含两个子框架，分别是模型压缩框架、边端推理加速框架。模型压缩框架除了包括主流的核心压缩技术，剪枝、量化、知识蒸馏等，还加入了数据增强及训练的超参数搜索的优化方式，致力于降低深度模型尺寸及计算量的同时还保证了良好的模型性能。边端推理从多层面方位进行优化，包含图优化、编译优化到运行时优化。同时支持多种后端方式。