[發明專利]一種海量動態數據管理方法

有效

• 申請號: 201510847291.2
• 申請日: 2015-11-27
• 公開（公告）號: CN105426506B
• 公開（公告）日: 2018-10-02
• 發明（設計）人: 張帆;張學睿;王國胤;尚明生
• 申請（專利權）人: 中國科學院重慶綠色智能技術研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

本發明涉及一種海量動態數據管理方法，屬于數據處理技術領域。該方法通過查詢關系型數據庫從而快速查看當前數據庫的結構信息；通過Hbase存儲數據，從而利用Hbase的特點，實現適應海量動態數據屬性變化很快或者實體和屬性需要由非程序設計人員在系統中個性化定制的需求；通過Hbase存儲數據，從而利用Hbase的特點，實現數據快速批量插入，適用于高并發寫的情形，尤其適用于大量復雜傳感器數據的存儲；通過關系型數據庫中的分組表，從而滿足單獨查詢特定列、分組查詢等復雜查詢需求；通過Hbase中RowKey列以時間和某一項或幾項重要信息的組合構成，利用Hbase的存儲特性，從而將更容易一起查詢的數據存到一起，提高查詢效率。

技術領域

本發明屬于數據處理技術領域，涉及一種海量動態數據管理方法。

背景技術

在傳統的數據管理方法中，設計者通常會預先定義好每個實體有多少個屬性，每個屬性的數據類型、長度，是否允許為空，約束條件等，這些定義是完全靜態的，數據表創建時就全部定義好，不能動態修改。但是對于實體的屬性變化很快，如動態感知的環境數據，或者實體和屬性需要由非程序設計人員在系統中個性化定制的情況時，原有的傳統數據庫模式設計不能滿足需求。

現在通常用來存儲海量數據的Hbase，具有結構松散，可動態擴展等特點，但是Hbase不能快速查詢數據庫結構，不能分組查詢等功能限制，使其不能快速設計和修改數據庫及表結構，而且不能適應復雜數據查詢的情況。

中國發明專利201410841294.0等公開了一種線性可動態擴展的數據管理方法及系統，主要包括時間信息的唯一ID，數據庫以時間段劃分，數據存儲在不同的劃分中。上述發明專利設計的存儲方式并不能適應屬性變化快的海量動態數據。

中國發明專利201210407470.0和201310511740.7等公開了一種海量數據管理方法及系統，主要內容：當滿足碎片整理條件時，判斷待整理的存儲空間或數據庫中的數據是否滿足預設的垃圾數據規則。上述發明專利主要涉及海量數據產生的碎片或垃圾數據處理，并沒有具體涉及海量數據管理。

發明內容

有鑒于此，本發明的目的在于提供一種海量動態數據管理方法，該方法可以適應海量動態數據屬性變化很快或者屬性需要由非程序設計人員在系統中個性化定制的需求，同時可以滿足快速設計和修改數據庫及表結構、分組查詢等復雜查詢需求。

為達到上述目的，本發明提供如下技術方案：

一種海量動態數據管理方法，包括以下步驟：

1)、使用關系型數據庫建立管理相關的表，包括用戶表、Hbase表名表、Hbase列名表、分組表、用戶操作表；

2)、用戶建立一個動態感知表時，表的名稱及表的列信息作為輸入數據，分別插入到關系型數據庫的Hbase表名表和Hbase列名表中；

3)、根據表名、列名在Hbase中創建對應的表和列；

4)、插入數據時，根據關系型數據庫中的Hbase表名表和Hbase列名表提取出列信息，提供與之對應的數據，向Hbase中批量插入動態數據；

5)、瀏覽數據時，根據關系型數據庫中的Hbase表名表和Hbase列名表提取出列信息，從Hbase瀏覽指定表的數據信息；

6)、條件查詢數據時，根據關系型數據庫中的Hbase表名表和Hbase列名表提取出列信息，從Hbase中查詢特定條件的數據信息；

7)、分組查詢任務時，根據定制需要，使用定時任務，將分組結果存儲在關系型數據庫的分組表中；

8)、需要動態擴展表時，首先向Hbase列名表中插入新的列信息，之后在對應Hbase表添加列，之后插入的數據信息應符合擴展后的結構。