[發明專利]非關系型數據庫HBase的數據遷移方法

在審

• 申請號: 201310421176.X
• 申請日: 2013-09-17
• 公開（公告）號: CN103514274A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 貝毅君;唐宏波;王丞淼;王寬
• 申請（專利權）人: 寧波東冠科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 寧波市鄞州甬致專利代理事務所(普通合伙) 33228
• 代理人: 李迎春

1.一種非關系型數據庫HBase的數據遷移方法，其特征在于：它包括以下步驟：

1)為非關系型數據庫HBase中保存的數據設計合理的RowKey，該RowKey體現出數據的組別信息和時間信息；

2)創建一個日志文件，該日志文件包含組別信息、插入信息和刪除信息；

3)關閉HBase集群的預寫日志WAL并使用壓縮技術對需要遷移的數據進行壓縮；

4)讀取用戶配置文件信息，根據用戶設定的數據遷移時間和步驟2）中的日志文件信息，以組別為單位從舊的HBase集群中讀取需要遷移的數據；

5)將讀取的數據遷移到新的HBase集群上，并修改步驟2）中日志文件的插入信息，并將該信息強制刷新到磁盤上；

6)將已經遷移到新的HBase集群上的數據從舊的HBase集群上刪除，并修改步驟2）中日志文件的刪除信息，并將該信息強制刷新到磁盤上；

7）繼續跳轉到步驟4）執行，遷移其他組別的數據，直到所有組別的數據全部遷移到新的HBase集群中。

2.根據權利要求1所述的非關系型數據庫HBase的數據遷移方法，其特征在于：所述步驟3)中的壓縮技術為SNAPPY壓縮技術。

3.根據權利要求1所述的非關系型數據庫HBase的數據遷移方法，其特征在于：所述步驟5）的具體步驟如下：

a)從日志文件中讀取正在遷移的數據的組別信息，判斷該組別的數據是否已經成功的插入新的HBase集群中；

b)若已經成功插入，則什么也不做；若沒有成功插入，則將讀取到的數據全部插入到新的HBase集群中，并將日志文件中該組別的插入標識置為成功，然后將此插入信息強制刷新到磁盤。

4.根據權利要求1所述的非關系型數據庫HBase的數據遷移方法，其特征在于：所述步驟6）的具體步驟如下：

a)從日志文件中讀取正在遷移的數據的組別信息，判斷該組別的數據是否已經成功的從舊的HBase集群中刪除；

b)若已經成功刪除，則什么也不做；若沒有成功刪除，則將對應組別的數據從舊的HBase集群中刪除，并將日志文件中該組別的刪除標識置為成功，將此刪除信息強制刷新到磁盤。