国家标准计划《信息技术 大数据存储与处理平台技术要求》由 TC28(全国信息技术标准化技术委员会)归口 ,主管部门为国家标准化管理委员会。
主要起草单位 华为技术有限公司 、浪潮电子信息产业股份有限公司 、工信部电子技术标准化研究院 。
35 信息技术、办公机械 |
35.100 开放系统互连(OSI) |
35.100.05 多层应用 |
大数据不仅仅是对数据操作的一个挑战,同时也是获取收益或体现竞争优势的资产。
大数据存储与处理平台是实现用可扩展的体系架构对大数据进行有效的存储、处理及分析的核心技术,各个IT公司和开源组织纷纷提供各自的解决方案和产品。
对这些解决方案和产品进行系统研究,提炼出一套一站式、弹性的、高性能的、高可用性的大数据存储与处理平台技术标准将有助于大数据领域的技术发展和大数据的产业发展。
大数据存储与处理系统属于大数据参考架构中的框架提供者,本规范规定了大数据存储与处理系统基本技术要求,包括了 1)大数据存储平台的基本技术技要求,包括数据存储管理和文件系统架构、虚拟化资源管理、性能要求、效率要求、可靠性等; 2)大数据框架中的大数据处理平台基本技术要求,包括了:整体功能框架,多种主流计算模式功能要求,支持包括批量,交互查询,实时流、内存计算等典型的大数据场景; 3)大数据存储与处理系统的可靠性、可管理、安全等总体要求 本规范是制定具体大数据存储与处理系统的基本技术指标、质量评估标准的依据。