[發明專利]數據遷移方法、電子裝置及計算機設備

在審

• 申請號: 201910756233.7
• 申請日: 2019-08-16
• 公開（公告）號: CN110688361A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 喻向陽;王龍龍
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/27
• 代理公司: 11015 北京英特普羅知識產權代理有限公司
• 代理人: 鄧應山

1.一種數據遷移方法，應用于電子裝置中，其特征在于，所述方法包括步驟：

通過多主機多線程的方式從MongoDB數據庫獲取遷移數據；

將所述遷移數據組裝成HFile格式以產生HFile遷移數據；及

將所述HFile遷移數據存儲到HBase數據庫。

2.如權利要求1所述之數據遷移方法，其特征在于，所述方法還包括：

通過定時任務掃描到待處理任務，觸發多個數據遷移任務；及

基于每一個所述多個數據遷移任務創建多個任務隊列，通過多臺主機處理每一個所述多個數據遷移任務的多個任務隊列。

3.如權利要求2所述之數據遷移方法，其特征在于，所述方法還包括：

對所述多個數據遷移任務的時間段進行分段以產生多個所述任務隊列；及

將每個任務隊列分配給對應的主機進行處理。

4.如權利要求1所述之數據遷移方法，其特征在于，所述方法還包括：

創建文件字符輸出流，用于訪問物理存儲路徑和準備生成文件，并設置文件的路徑，以及所述HBase數據庫的用戶名和密碼；

通過所述文件字符輸出流創建所述HFile遷移數據，并設置所述HFile遷移數據的命名和容納數據上限，然后將所述遷移數據包含的每個字段一一對應寫入HFile遷移數據，同時添加索引字段；及

當所述HFile遷移數據寫入的數據量達到上限，重新創建一個HFile遷移數據并繼續寫入數據，直到遷移數據全部組裝成HFile遷移數據。

5.如權利要求1所述之數據遷移方法，其特征在于，所述方法還包括：

當所述遷移數據存放過程中發生異常，將異常任務記錄在Oracle數據庫中，設定一個定時觸發時間來重新處理異常任務；及

存放所述遷移數據時，先將所述遷移數據轉換成字節型，然后進行寫入操作。

6.如權利要求5所述之數據遷移方法，其特征在于，所述字節型是數據傳輸的最小類型。

7.如權利要求1所述之數據遷移方法，其特征在于，所述方法還包括：

將所述HFile遷移數據導入所述HBase數據庫，數據組裝時是按照日期創建的路徑；及

通過多維度的查詢方式，根據索引查詢所述HBase數據庫中的所述HFile遷移數據，從極大量的數據中精確查詢和模糊查詢對應的數據。

8.一種電子裝置，其特征在于，包括：

數據獲取模塊，用于通過多主機多線程的方式從MongoDB數據庫獲取遷移數據；

數據產生模塊，用于將所述遷移數據組裝成HFile格式以產生HFile遷移數據；及

數據存儲模塊，用于將所述HFile遷移數據存儲到HBase數據庫。

9.一種計算機設備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項之數據遷移方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執行時實現權利要求1至7任一項之數據遷移方法的步驟。