国家标准计划《信息技术 神经网络表示与模型压缩 第2部分：大规模预训练模型》由 TC28（全国信息技术标准化技术委员会）归口，TC28SC42（全国信息技术标准化技术委员会人工智能分会）执行 ，主管部门为国家标准委。

主要起草单位 北京大学 、鹏城实验室 、中国电子技术标准化研究院 、华为技术有限公司 、北京百度网讯科技有限公司 、海信集团有限公司 、北京智源人工智能研究院 、杭州海康威视数字技术股份有限公司 、深圳市腾讯计算机系统有限公司 、北京市商汤科技开发有限公司 、厦门大学 、清华大学 、中国科学院自动化研究所 、浙江大学 、深圳龙岗智能视听研究院 。

作为引领未来的战略性技术，人工智能成为国际竞争的新焦点和经济发展的新引擎。

标准化则是推动人工智能发展的基础。

人工智能技术必须满足客观的标准从而保持其可互操作、安全性和可信赖性。

随着更通用更大规模的盘古、悟道、ERNIE、BERT、DALL-E、GPT-3等大规模预训练模型的出现，人工智能领域正在发生迅速的范式转变，深度影响了计算机视觉、自然语言处理、机器人、自动驾驶、智慧医疗等领域的发展。

但这些大规模预训练模型在实际应用中的推广和应用方面仍面临着许多问题：首先现有的大规模预训练模型没有统一的表示，限制了大规模预训练模型在不同框架之间的转换效率以及在下游任务中的部署效率；另一方面，由于大规模模型参数量大，在端云设备上训练和部署大规模预训练模型均面临资源受限和能耗大的问题，模型压缩成为大规模预训练模型应用的必要方案；同时，针对不同产业应用及不同应用场景也产生了基于大规模预训练模型的多种模型、特征和数据传输方式。

因此，通过制定框架无关大规模预训练模型网络表示、高效模型压缩存储标准以及全面的数据、模型和特征传输方案，能够加速大规模预训练在不同产业的应用，推进人工智能产业化发展进程。

《信息技术 神经网络表示与模型压缩》系列标准主要定义不同神经网络的表示、支持不同神经网络模型的压缩存储以及产业应用。大规模预训练模型作为近期人工智能领域的新范式，因此《信息技术 神经网络表示与压缩 第二部分：大规模预训练模型》主要面向智算中心、数据中心、智慧城市、视频监控、自然语言处理等云计算和“AI+行业”场景，以及自动驾驶、移动设备、机器人、无人机等端计算场景。该标准主要定义大规模预训练模型的基础表示单元、语法及相关运算操作，并支持多种训练、加速、压缩、编码等方法；制定大规模预训练模型的存储、传输格式标准；定义针对大规模预训练模型部署应用的数据、模型、特征传输方案；同时定义规范化的大规模预训练模型开发框架供参考。