国家标准计划《智能制造 工业大数据时间序列数据采集与存储管理框架》由 339-1(工业和信息化部(电子))归口 ,主管部门为工业和信息化部(电子)。
主要起草单位 中国电子技术标准化研究院 、清华大学 、北京和利时智能技术有限公司 、中国人民大学 、北京理工大学 、青岛海尔工业智能研究院有限公司 、青岛酷特智能股份有限公司 、美林数据技术股份有限公司 。
| 35 信息技术、办公机械 |
| 35.240 信息技术应用 |
| 35.240.50 信息技术在工业中的应用 |
近年来物联网技术快速发展,工业物联网成为工业大数据新的、增长最快的来源之一,它能实时自动采集设备和装备运行状态数据,并对它们实施远程实时监控,产生大量机器数据,主要是时间序列数据。
传统的关系型数据库例如Oracle、DB2等多被应用于低频存取的机器数据场景。
这种基于行式存储的关系数据库基于关系模型存储,对于时间序列数据格式没有原生的支持,数据的写入性能距机器大数据系统的要求差距较大。
结合时间序列数据的结构特点及工业大数据中对时间序列数据的应用方式,列式存储数据库较为适合对海量的时间序列数据进行存储。
列式数据库在海量时间序列数据的存储和查询分析方面具有较大优势,但其在对行式数据的拼接上具有较低的效率。
列式数据库在对时间序列数据等工业大数据的存储和分析上具有较大的优势。
当前主流的列式数据库在进行数据存储时,将数据按照属性值进行划分,在对其进行高效的编码后,将其连续存储在文件中。
针对上述问题,本标准将首先提出工业大数据时间序列数据采集及集成管理框架,然后提出基于列式存储的时间序列数据存储框架,提出新型的列式存储文件格式,并以该文件格式为基础,对查询执行的过程进行优化,从而提高时间序列数据的查询效率。
本标准规定工业大数据时间序列数据采集和存储管理框架。 本标准将首先提出工业大数据时间序列数据采集及集成管理框架,然后制定基于列式存储的时间序列数据存储框架,提出新型的列式存储文件格式,并以该文件格式为基础,对查询执行的过程进行优化,从而提高时间序列数据的查询效率。
国家重点研发计划(No.2016YFB1000702)面向高端制造领域的大数据管理系统