[發明專利]一種將關系型數據遷移至HBase的方法及系統

有效

• 申請號: 201310612192.7
• 申請日: 2013-11-26
• 公開（公告）號: CN103631907A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 戴嬌;文杰;韓冀中;周薇
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

1.一種將關系型數據遷移至HBase的方法，其特征在于，包括如下步驟：

步驟1：建立HBase數據庫，并建立用于存儲關系數據庫中數據表與HBase中相應的數據存儲表間映射關系的映射關系表；

步驟2：選定一個或一個以上的關系型數據表，并為選定的每個關系型數據表定義映射方式，記錄在映射關系表中；

步驟3：導入數據時，查詢映射關系表中的映射方式，并根據映射方式建立相應的數據存儲表；

步驟4：將步驟2中所述一個或一個以上的關系型數據表中的數據按照步驟3中所述的映射關系遷移至建立的數據存儲表中；

步驟5：判斷是否還有關系型數據要遷移到HBase數據庫中，如果有返回步驟2,否則結束。

2.根據權利要求1所述一種將關系型數據遷移至HBase的方法，其特征在于，還包括當要從HBase數據庫中導出數據時，具體實現如下：首先，根據用戶提供的導出配置文件獲取待導出數據在原關系型數據表中的位置信息；其次，根據待導出數據在原關系型數據表中的位置信息，在映射關系表中查找出待導出數據在HBase數據庫的數據存儲表中相應的位置信息；最后，按照關系映射表中定義的數據類型將待導出數據導出。

3.根據權利要求1所述一種將關系型數據遷移至HBase的方法，其特征在于，還包括當要從HBase數據庫中查詢數據時，具體實現如下：首先，解析所述查詢語句，提取出查詢信息，并轉換成HBase數據庫的查詢語句；其次，根據已轉換的查詢語句在映射關系表中查找待查詢數據在數據存儲表中的位置信息；最后，根據查詢到的位置信息，查詢數據存儲表中的相應數據。

4.根據權利要求1所述一種將關系型數據遷移至HBase的方法，其特征在于，步驟2中所述映射方式為包括表映射方式和列映射方式，

所述表映射方式包括一對一映射和多對一映射，具體體現在表名的映射，所述表名的映射為根據表名轉換運算進行映射，表名轉換運算包括一對一哈希運算和多對一哈希運算；

所述列映射方式包括默認方式、時序方式和用戶自定義方式，所述默認方式即關系數據庫中表格內所有列與HBase的數據存儲表格的一個列簇內的所有列一一對應；所述時序方式即將關系數據庫中表格內所有時間值屬性列在HBase的數據存儲表中單獨定義一個列簇，該列簇包含一個列，將遷移的數據按照不同時間點對應于該列不同的時間戳上；所述用戶自定義映射即根據用戶的需要進行自定義。

5.根據權利要求4所述一種將關系型數據遷移至HBase的方法，其特征在于，步驟3中根據映射方式建立相應的數據存儲表，所述數據存儲表中包括一個特殊的列即為行鍵列，所述行鍵列的映射方式包括單關鍵字型和多關鍵字型，所述單關鍵字型是以原關系數據庫中表格的一個列屬性直接作為行鍵，多關鍵字型是將原關系數據庫中表格的多個列屬性拼接為一個行鍵，所選列屬性、用于拼接各列屬性的連接字符或字符串，以及行鍵的排列順序由用戶自定義。

6.根據權利要求1所述一種將關系型數據遷移至HBase的方法，其特征在于，步驟4的具體實現包括數據讀取和數據寫入，其中數據讀取包括兩種方式，一是通過JDBC從關系數據庫中讀取數據，二是通過中間文件從關系數據庫中讀取數據；導入數據時，首先在映射關系表中查找相關的映射關系，將讀取的數據轉換成二進制串，根據映射關系將其寫入到相應的數據存儲表中。

7.一種將關系型數據遷移至HBase的系統，其特征在于，包括一個或一個以上的關系數據庫、HBase數據庫、SQL解析模塊、查詢轉換模塊和數據模式管理模塊；

所述每個關系數據庫，其用于存儲關系型數據，作為數據遷移的源端；

所述HBase數據庫，其用于建立映射關系表來存儲關系數據庫中數據表與HBase中相應的數據存儲表間的映射關系，并將從關系型數據庫中遷移來的數據按照預定的映射關系存儲在相應的數據存儲表中；

所述SQL解析模塊，其用于提供SQL查詢功能，對SQL查詢語句進行解析，并將解析出的查詢信息傳送給查詢轉換模塊；

所述查詢轉換模塊，其用于將接收的查詢信息轉換成HBase數據庫的查詢語句，并傳送給數據模式管理模塊；

所述數據模式管理模塊，其用于在向HBase導入、導出和查詢數據時，調取相應接口，在HBase的映射關系表中查詢映射關系，為數據導入、導出和查詢提供查詢依據。