国家标准项目《智能计算 词元服务 第2部分:计数规则》由 SWG32(全国智能计算标准化工作组)归口 ,主管部门为国家标准委。
主要起草单位 之江实验室 、中国计量科学研究院 、中国信息通信研究院 、西安电子科技大学 、中国移动通信集团有限公司 、中国电信股份有限公司 、阿里云计算有限公司 、北京百度网讯科技有限公司 、蚂蚁科技集团股份有限公司 、清华大学 、北京深度求索人工智能基础技术研究有限公司 、上海稀宇科技有限公司 、北京智谱华章科技股份有限公司 、中关村实验室 、北京智源人工智能研究院 、钉钉科技有限公司 。
| 35 信息技术、办公机械 |
| 35.240 信息技术应用 |
一、范围 本文件规定了智能计算服务中产生计算资源消耗的词元的计数要求,包括计数框架、计数方法、计数结果输出接口等技术要求。 本文件适用于词元服务提供方开展词元计数、结果披露、计算资源管理和服务性能评价,也适用于用户、第三方审计机构和监管部门开展词元计数结果核验和成本核算。 二、主要技术内容 本文件主要包括以下技术内容: 1)词元计数框架:规范智能计算服务词元计数总体框架,明确计数对象、计数范围、计数原则、计数阶段划分,构建覆盖智能计算服务全流程的统一计数模型。 2)词元计数方法:规范智能计算服务不同计算阶段的词元计数统计方法,包括输入编码阶段、预填充阶段(Prefill)、缓存复用阶段(KV Cache)、解码阶段(Decode),明确输入词元、输出词元、缓存词元、推理词元、多模态词元等不同类型词元的计数要求,建立智能计算服务资源利用效率评价基础。 词元计数数据格式要求:规定统一的词元计数数据结构和字段要求,包括用量计数字段、字段层级结构及接口输出要求,实现不同平台之间计数结果的互联互通和可比性。