[發明專利]非關系型數據庫HBase的數據遷移方法

在審

• 申請號: 201310421176.X
• 申請日: 2013-09-17
• 公開（公告）號: CN103514274A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 貝毅君;唐宏波;王丞淼;王寬
• 申請（專利權）人: 寧波東冠科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 寧波市鄞州甬致專利代理事務所(普通合伙) 33228
• 代理人: 李迎春

技術領域

本發明涉及非關系型數據庫的數據遷移技術，尤其涉及一種非關系型數據庫HBase的數據遷移方法。

背景技術

數據庫技術是計算機科學技術中發展最快的領域之一，也是應用最廣的技術之一，近些年來，隨著互聯網的發展，特別是互聯網Web2.0的興起，傳統的關系型數據庫在應對超大規模和高并發的SNS類型的網站時已經顯得力不從心，而非關系型數據庫則由于其自身的特點在應對大規模數據和高并發的訪問時具有很好的表現，所以得到了非常迅速的發展。

HBase就是一種分布式的、面向列的非關系型數據庫，適用于需要實時隨機讀寫超大規模數據的應用。但是隨著時間的推移，需要存儲的數據量越來越大，雖然HBase可以通過增加集群中的機器來擴展存儲能力，但這將影響到對HBase中數據進行讀寫的速度。另一方面，很早之前存儲的數據對于當前應用來說可能不再使用或者很少再進行讀寫操作，只在進行數據統計和分析時才會被訪問到，所以可以將這一部分很少被訪問的歷史數據遷移到另一個新的集群中，以提高當前集群的存儲能力和讀寫數據的速度。

目前，關系型數據庫都提供了一些數據遷移的方案和工具，但對于非關系型數據庫來說，由于其存儲的數據量很大，且大多數非關系型數據庫都沒有針對多行記錄的事務特性，所以使得數據遷移的難度增大，鮮有數據遷移的完整方案。由于HBase是一個在分布式文件系統HDFS上開發的分布式數據庫，現有的針對HBase的數據遷移方案大多是基于HDFS的數據塊，將存儲有HBase數據的HDFS數據塊復制轉移到新的集群上，因為HDFS的數據塊轉移必須是將整塊都轉移，并不能拆分開來進行轉移，所以這樣的轉移方式顯得不夠靈活，無法由用戶自定義需要轉移的數據，且數據遷移只能由具有專業知識的數據庫管理員來操作，增大了用戶的負擔。

發明內容

本發明所要解決的技術問題是：提供一種非關系型數據庫HBase的數據遷移方法，采用這種遷移方法數據遷移較靈活，而且能由用戶自定義需要轉移的數據，并且不需要專門的數據庫管理員來操作。

本發明所采用的技術方案是：一種非關系型數據庫HBase的數據遷移方法，它包括以下步驟：

1)為非關系型數據庫HBase中保存的數據設計合理的RowKey，該RowKey體現出數據的組別信息和時間信息；

2)創建一個日志文件，該日志文件包含組別信息、插入信息和刪除信息；

3)關閉HBase集群的預寫日志WAL并使用壓縮技術對需要遷移的數據進行壓縮；

4)讀取用戶配置文件信息，根據用戶設定的數據遷移時間，和步驟2）中的日志文件信息，以組別為單位從舊的HBase集群中讀取需要遷移的數據；

5)將讀取的數據遷移到新的HBase集群上，并修改步驟2）中日志文件的插入信息，并將該信息強制刷新到磁盤上；

6)將已經遷移到新的HBase集群上的數據從舊的HBase集群上刪除，并修改步驟2）中日志文件的刪除信息，并將該信息強制刷新到磁盤上；

7）繼續跳轉到步驟4）執行，遷移其他組別的數據，直到所有組別的數據全部遷移到新的HBase集群中。

所述步驟3)中的壓縮技術為SNAPPY壓縮技術。

所述步驟5）的具體步驟如下：

a)從日志文件中讀取正在遷移的數據的組別信息，判斷該組別的數據是否已經成功的插入新的HBase集群中；

b)若已經成功插入，則什么也不做；若沒有成功插入，則將讀取到的數據全部插入到新的HBase集群中，并將日志文件中該組別的插入標識置為成功，然后將此插入信息強制刷新到磁盤。

所述步驟6）的具體步驟如下：

a)從日志文件中讀取正在遷移的數據的組別信息，判斷該組別的數據是否已經成功的從舊的HBase集群中刪除；

b)若已經成功刪除，則什么也不做；若沒有成功刪除，則將對應組別的數據從舊的HBase集群中刪除，并將日志文件中該組別的刪除標識置為成功，將此刪除信息強制刷新到磁盤。