[發明專利]一種大數據塊結構化存儲方法及系統

在審

• 申請號: 201910258616.1
• 申請日: 2019-04-01
• 公開（公告）號: CN110147348A
• 公開（公告）日: 2019-08-20
• 發明（設計）人: 李衛群;蘭海翔;周發輝
• 申請（專利權）人: 貴州力創科技發展有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/185;G06F16/182
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 董德

本發明涉及一種大數據塊結構化存儲方法及系統，其方法包括以下步驟，S1，采用數據遷移的方式按存活周期對大數據進行分級歸類；S2，建立樹狀文件系統，并將按存活周期進行分級歸類的大數據導入到所述樹狀文件系統；S3，利用分級存儲的原理將所述大數據存儲在所述樹狀文件系統的對應節點上。本發明一種大數據塊結構化存儲方法采用數據遷移的方式按存活周期對大數據進行分級歸類，并在此基礎上，利用樹狀文件系統對大數據進行分級存儲，可以解決存儲數據量龐大的問題和有效的提高大數據的訪問效率。

技術領域

本發明涉及大數據領域，具體涉及一種大數據塊結構化存儲方法及系統。

背景技術

近年來，大數據領域發展出大量技術和產品，成為大數據獲取、存儲、處理分析或可視化的有效手段。但大數據的存儲方法是通過部署運維監控軟件收集大數據運行日志數據以純文本格式存儲到本地文件系統或者關系型數據庫系統，都難以解決大數據存儲數據量龐大的問題，傳統的方案只能定時刪除日志文件，并且海量數據的訪問效率極慢。

發明內容

本發明所要解決的技術問題是提供一種大數據塊結構化存儲方法及系統，可以解決存儲數據量龐大的問題和提高數據訪問效率。

本發明解決上述技術問題的技術方案如下：一種大數據塊結構化存儲方法，包括以下步驟，

S1，采用數據遷移的方式按存活周期對大數據進行分級歸類；

S2，建立樹狀文件系統，并將按存活周期進行分級歸類的大數據導入到所述樹狀文件系統；

S3，利用分級存儲的原理將所述大數據存儲在所述樹狀文件系統的對應節點上。

本發明的有益效果是：本發明一種大數據塊結構化存儲方法采用數據遷移的方式按存活周期對大數據進行分級歸類，并在此基礎上，利用樹狀文件系統對大數據進行分級存儲，可以解決存儲數據量龐大的問題和有效的提高大數據的訪問效率。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，在所述S1中，還包括對所述大數據進行過濾，并將過濾后的所述大數據采用數據遷移的方式按存活周期進行分級歸類。

進一步，在所述S2中，具體根據所述大數據的分級歸類級數建立所述樹狀文件系統。

進一步，所述樹狀文件系統的節點數與所述大數據的分級歸類級數相匹配。

進一步，所述樹狀文件系統具體為HBase類型的數據庫。

基于上述一種大數據塊結構化存儲方法，本發明還提供一種大數據塊結構化存儲系統。

一種大數據塊結構化存儲系統，包括以下模塊，

分級歸類模塊，其用于采用數據遷移的方式按存活周期對大數據進行分級歸類；

樹狀文件系統建立模塊，其用于建立樹狀文件系統，并將按存活周期進行分級歸類的大數據導入到所述樹狀文件系統；

分級存儲模塊，其用于利用分級存儲的原理將所述大數據存儲在所述樹狀文件系統的對應節點上。

本發明的有益效果是：本發明一種大數據塊結構化存儲系統采用數據遷移的方式按存活周期對大數據進行分級歸類，并在此基礎上，利用樹狀文件系統對大數據進行分級存儲，可以解決存儲數據量龐大的問題和有效的提高大數據的訪問效率。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述分級歸類模塊還用于對所述大數據進行過濾，并將過濾后的所述大數據采用數據遷移的方式按存活周期進行分級歸類。

進一步，所述樹狀文件系統建立模塊具體用于根據所述大數據的分級歸類級數建立所述樹狀文件系統。