[發明專利]一種將關系型數據遷移至HBase數據庫的方法及裝置

在審

• 申請號: 201711451023.4
• 申請日: 2017-12-27
• 公開（公告）號: CN110019135A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 周舟
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種將關系型數據遷移至HBase數據庫的方法及裝置，用于解決目前將數據從關系型數據庫遷移到HBase數據庫的數據遷移方式不夠成熟的技術問題，以提高數據遷移效率，并且可以通過容錯驗證的方式確保數據遷移的完整和有效以提高數據遷移的準確性。該方法包括：從關系型數據庫中獲取需要遷移的數據表；根據所述需要遷移的數據表為目標HBase數據庫創建列族名稱和列名；通過將字段類型轉換成字符型對所述需要遷移的數據表中的數據進行數據轉換以獲得轉換后的數據，并記錄轉換數據量；將所述轉換后的數據導入所述目標HBase數據庫中并生成導入記錄報表；根據所述轉換數據量和所述導入記錄報表判斷數據遷移的完整性，以獲得數據是否完整遷移的驗證結果。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種將關系型數據遷移至HBase數據庫的方法及裝置。

背景技術

HBase是Hadoop項目所屬的子項目，是Hadoop上的一個NOSQL數據庫的實現，同時也是一個分布式的、面向列的開源數據庫，可以說，HBase不僅擁有大部分NOSQL數據庫所擁有的優點，而且由于能與Hadoop無縫集成，所以它提供了更為強大的擴展性以及數據操作性能。并且隨著云計算技術不斷落地成為支撐各行業信息技術發展的重要支柱，由于HBase數據庫存在的巨大優勢，越來越多的場景下都需要利用HBase數據庫等菲關系型數據庫進行數據存儲和管理。

以發票數據為例，根據有效統計，截至目前全國金稅盤開票機已達到約千萬臺，而通過金稅盤打印增值稅專票數據大概13億條左右，普通發票20億條左右，發票數據更是以T為單位存儲，而目前發票數據一般是保存在關系型數據庫中，例如Oracle或mysql等等，而將如此大量的數據存儲在關系型數據庫中已經大大限制了對歷史數據的分析，為了提高數據查詢和分析管理效率，有必要將關系型數據庫中的存儲數據遷移至HBase大數據平臺數據庫中進行保存，以便于后續的快速查找和高效管理，也就是說，對于海量數據的存儲，有必要將其從關系型數據庫遷移至HBase數據庫，而目前的數據遷移方式還不夠成熟，效率不高。

發明內容

本發明實施例提供一種將關系型數據遷移至HBase數據庫的方法及裝置，用于解決目前將數據從關系型數據庫遷移到HBase數據庫的數據遷移方式還不夠成熟的技術問題。

第一方面，提供一種將關系型數據遷移至HBase數據庫的方法，所述方法包括：

從關系型數據庫中獲取需要遷移的數據表；

根據所述需要遷移的數據表為目標HBase數據庫創建列族名稱和列名；

通過將字段類型轉換成字符型對所述需要遷移的數據表中的數據進行數據轉換以獲得轉換后的數據，并記錄轉換數據量；

將所述轉換后的數據導入所述目標HBase數據庫中并生成導入記錄報表；

根據所述轉換數據量和所述導入記錄報表判斷數據遷移的完整性，以獲得數據是否完整遷移的驗證結果。

可選的，根據所述需要遷移的數據表為目標HBase數據庫創建列族名稱和列名，包括：

根據所述需要遷移的數據表對應的數據庫類型創建所述目標HBase數據庫的列族名稱，以及根據創建的列族名稱和所述需要遷移的數據表的表名定義所述列族名稱對應的列族所包括的列名。

可選的，從關系型數據庫中獲取需要遷移的數據表，包括：

判斷是否存在遷移篩選條件；

若存在所述遷移篩選條件，則根據所述遷移篩選條件從所述關系型數據庫的全量表中進行篩選以獲得所述需要遷移的數據表；

若不存在所述遷移篩選條件，則將所述關系型數據庫中的全量表確定為所述需要遷移的數據表。

可選的，根據所述轉換數據量和所述導入記錄報表判斷數據遷移的完整性，包括：