[發(fā)明專利]一種海量動(dòng)態(tài)數(shù)據(jù)管理方法

有效

• 申請?zhí)枺?/td>: 201510847291.2
• 申請日: 2015-11-27
• 公開（公告）號(hào): CN105426506B
• 公開（公告）日: 2018-10-02
• 發(fā)明（設(shè)計(jì)）人: 張帆;張學(xué)睿;王國胤;尚明生
• 申請（專利權(quán)）人: 中國科學(xué)院重慶綠色智能技術(shù)研究院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 廖曦

1.一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：包括以下步驟：

1)、使用關(guān)系型數(shù)據(jù)庫建立管理相關(guān)的表，包括用戶表、Hbase表名表、Hbase列名表、分組表、用戶操作表；

2)、用戶建立一個(gè)動(dòng)態(tài)感知表時(shí)，表的名稱及表的列信息作為輸入數(shù)據(jù)，分別插入到關(guān)系型數(shù)據(jù)庫的Hbase表名表和Hbase列名表中；

3)、根據(jù)表名、列名在Hbase中創(chuàng)建對(duì)應(yīng)的表和列；

4)、插入數(shù)據(jù)時(shí)，根據(jù)關(guān)系型數(shù)據(jù)庫中的Hbase表名表和Hbase列名表提取出列信息，提供與之對(duì)應(yīng)的數(shù)據(jù)，向Hbase中批量插入動(dòng)態(tài)數(shù)據(jù)；

5)、瀏覽數(shù)據(jù)時(shí)，根據(jù)關(guān)系型數(shù)據(jù)庫中的Hbase表名表和Hbase列名表提取出列信息，從Hbase瀏覽指定表的數(shù)據(jù)信息；

6)、條件查詢數(shù)據(jù)時(shí)，根據(jù)關(guān)系型數(shù)據(jù)庫中的Hbase表名表和Hbase列名表提取出列信息，從Hbase中查詢特定條件的數(shù)據(jù)信息；

7)、分組查詢?nèi)蝿?wù)時(shí)，根據(jù)定制需要，使用定時(shí)任務(wù)，將分組結(jié)果存儲(chǔ)在關(guān)系型數(shù)據(jù)庫的分組表中；

8)、需要?jiǎng)討B(tài)擴(kuò)展表時(shí)，首先向Hbase列名表中插入新的列信息，之后在對(duì)應(yīng)Hbase表添加列，之后插入的數(shù)據(jù)信息應(yīng)符合擴(kuò)展后的結(jié)構(gòu)。

2.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟1)中，所述Hbase表名表，具有表唯一編號(hào)列，表顯示名稱列，對(duì)應(yīng)Hbase表名列，使用狀態(tài)列，所屬用戶列，該表管理所有出現(xiàn)在Hbase數(shù)據(jù)庫中實(shí)際存儲(chǔ)數(shù)據(jù)的表。

3.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟1)中，所述Hbase列名表，具有列唯一編號(hào)列，列顯示名稱列，所屬表編號(hào)列，對(duì)應(yīng)Hbase列名稱列，值類型列，值計(jì)量單位列，其中所屬表編號(hào)列作為外鍵與Hbase表名表中表編號(hào)列關(guān)聯(lián)，如果存儲(chǔ)具有計(jì)量單位的數(shù)據(jù)時(shí)需要在計(jì)量單位列存儲(chǔ)；該表管理Hbase數(shù)據(jù)庫中除RowKey列外所有出現(xiàn)在Hbase數(shù)據(jù)庫中的列。

4.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟1)中，所述分組表具有列唯一編號(hào)列，所要分組的屬性列，所屬表編號(hào)列，其中所屬表編號(hào)列作為外鍵與Hbase表名表中表編號(hào)列關(guān)聯(lián)，該表管理待查詢分組任務(wù)結(jié)果，分組查詢時(shí)可以直接從此表中查詢分組結(jié)果。

5.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟2)中，所述表的列信息包括列顯示名稱，所屬表編號(hào)，對(duì)應(yīng)Hbase列名稱，值類型，值單位，所屬表編號(hào)為通過向Hbase表名表插入表的名稱時(shí)生成的唯一編號(hào)。

6.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟3)中，所述在Hbase中創(chuàng)建表和列時(shí)，RowKey以時(shí)間和某一項(xiàng)或幾項(xiàng)重要信息的組合構(gòu)成。

7.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟4)中，所述對(duì)應(yīng)的數(shù)據(jù)，應(yīng)包含所有關(guān)系型數(shù)據(jù)庫中的Hbase表名表和Hbase列名表對(duì)應(yīng)的列信息，其中構(gòu)成Hbase中RowKey列不能為空，其他屬性如果為空，則不賦值。

8.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟5)中，所述從Hbase中瀏覽指定表的數(shù)據(jù)信息，由于Hbase數(shù)據(jù)都是以字典序排序，瀏覽數(shù)據(jù)信息時(shí)為倒序?yàn)g覽，保證瀏覽時(shí)順序?yàn)閺男碌脚f。

9.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟6)中，所述從Hbase中查詢特定條件的數(shù)據(jù)信息，由于Hbase數(shù)據(jù)都是以字典序排序，查看查詢結(jié)果信息時(shí)為倒序查看，保證查看時(shí)順序?yàn)閺男碌脚f。

10.根據(jù)權(quán)利要求1所述的一種海量動(dòng)態(tài)數(shù)據(jù)管理方法，其特征在于：在步驟6)中，所述查詢特定條件的數(shù)據(jù)信息，由于RowKey列以時(shí)間和某一項(xiàng)或幾項(xiàng)重要信息的組合構(gòu)成并且查詢條件為包含這幾項(xiàng)時(shí)，使用定制的條件篩選器保證適應(yīng)這種特殊的條件查詢方式。