国家标准计划《信息技术 大数据 面向分析的数据存储与检索技术要求》由 TC28(全国信息技术标准化技术委员会)归口 ,主管部门为国家标准化管理委员会。
主要起草单位 华为技术有限公司 、中国电子技术标准化研究院 、北京大学 、北京航天智造科技发展有限公司 、中国人民大学 、北京因特睿软件有限公司 。
35 信息技术、办公机械 |
35.240 信息技术应用 |
电信,金融,安全等领域随着数据与日俱增,海量数据的体量可达总量达PB级、单表数据达百亿行级别。
数据通常根据数据用途、数据来源、数据格式等进行分类。
业务驱动下的数据分析灵活性要求,越来越高;一个具体业务的数据分析过程往往包含了多个分析步骤,分属于不同的分析应用场景类型(如:多种参数组合的数据查询分析、快速扫描、详单查询、数据更新删除等)。
行业应用中的业务分析不仅数据体量大,而且分析的表属性维度较多,单表属性维度可达百维以上。
数据在不同的业务平台上按照不同场景需求有多份数据存储,这导致了平台维护成本、数据冗余和数据转换代价的日益俱增,严重阻碍了大数据分析技术的应用和发展。
通过本标准可以为大数据用户提供一份数据存储实现来自多数据源的大数据的归并、支持多样的大数据分析处理的能力。
多样的大数据分析处理包括百维度级别的任意组合查询和分析、多种快速查询需求如过滤查询、快速扫描、详单查询。
该技术是支撑行业应用大数据化的基础技术之一,具有较广泛的产业应用价值,通过该技术标准化来促进大数据建设的落地实施,推动大数据产业的发展。
。
本标准对面向分析的数据存储与检索技术的实现进行了说明,描述了数据管理流程,提出了对数据分类、数据存储结构、数据接口、检索优化、数据的基本操作和 数据基本处理等方面的规范性技术要求。 本标准适用于面向分析的数据存储与检索技术的设计、开发和使用。适用本标准的数据管理平台可支持总量达PB级、单表数据达百亿行级别、单表属性维度达百维以上的数据分析业务。