[發明專利]數據遷移方法、電子裝置及計算機設備

在審

• 申請號: 201910756233.7
• 申請日: 2019-08-16
• 公開（公告）號: CN110688361A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 喻向陽;王龍龍
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/27
• 代理公司: 11015 北京英特普羅知識產權代理有限公司
• 代理人: 鄧應山

本發明公開了一種數據遷移方法。通過多主機多線程的方式從MongoDB數據庫獲取遷移數據，將所述遷移數據組裝成HFile格式以產生HFile遷移數據，及將所述HFile遷移數據存儲到HBase數據庫。本發明提供的數據遷移方法與電子裝置提供億級數據遷移效率以節約時間成本，成本低且主機可同時支持其他業務，并提供自動化定時任務，操作簡單且管理方便。

技術領域

本發明涉及虛擬化存儲的技術領域，尤其涉及一種數據遷移方法、電子裝置、計算機設備及存儲介質。

背景技術

目前市面上的暫無商用的高效率的從MongoDB遷移大批量數據的實現方案。MongoDB是一個基于分布式文件存儲的數據庫，可存儲較為復雜的數據結構。常規遷移方案：1、使用Mongo自帶備份指令生成數據備份文件，然后傳輸備份文件；直接備份生成的文件無法進行加密，文件安全女月性不足，傳輸過程中被截取后可直接查看文件內容；若進行加密傳輸，相當于增加了對文件的解析，會增加耗時；2、服務器上使用命令代碼進行遷移，需要人員工手動執行。

普通的數據遷移方案效率極其低下，小數據量的遷移方案雖然效率可觀，但是數據量級上升后效率直線下降。現有方法遷移過程若發生異常則會中斷，嚴重影響流程和使用。

發明內容

有鑒于此，本發明提出一種數據遷移方法提供億級數據遷移效率以節約時間成本，成本低且主機可同時支持其他業務，并提供自動化定時任務，操作簡單且管理方便。

為實現上述目的，本發明提出一種數據遷移方法，應用于電子裝置中，該方法包括步驟：通過多主機多線程的方式從MongoDB數據庫獲取遷移數據；將所述遷移數據組裝成HFile格式以產生HFile遷移數據；及將所述HFile遷移數據存儲到HBase數據庫。

進一步地，通過定時任務掃描到待處理任務，觸發多個數據遷移任務；及基于每一個所述多個數據遷移任務創建多個任務隊列，通過多臺主機處理每一個所述多個數據遷移任務的多個任務隊列。

進一步地，對所述多個數據遷移任務的時間段進行分段以產生多個所述任務隊列；及將每個任務隊列分配給對應的主機進行處理。

進一步地，創建文件字符輸出流，用于訪問物理存儲路徑和準備生成文件，并設置文件的路徑，以及所述HBase數據庫的用戶名和密碼；通過所述文件字符輸出流創建所述HFile遷移數據，并設置所述HFile遷移數據的命名和容納數據上限，然后將所述遷移數據包含的每個字段一一對應寫入HFile遷移數據，同時添加索引字段；及當所述HFile遷移數據寫入的數據量達到上限，重新創建一個HFile遷移數據并繼續寫入數據，直到遷移數據全部組裝成HFile遷移數據。

進一步地，當所述遷移數據存放過程中發生異常，將異常任務記錄在Oracle數據庫中，設定一個定時觸發時間來重新處理異常任務；及存放所述遷移數據時，先將所述遷移數據轉換成字節型，然后進行寫入操作。所述字節型是數據傳輸的最小類型。

進一步地，將所述HFile遷移數據導入所述HBase數據庫，數據組裝時是按照日期創建的路徑；及通過多維度的查詢方式，根據索引查詢所述HBase數據庫中的所述HFile遷移數據，從極大量的數據中精確查詢和模糊查詢對應的數據。

為實現上述目的，本發明還提出一種電子裝置，包括數據獲取模塊、數據產生模塊與數據存儲模塊。所述數據獲取模塊用于通過多主機多線程的方式從MongoDB數據庫獲取遷移數據。所述數據產生模塊，用于將所述遷移數據組裝成HFile格式以產生HFile遷移數據。所述數據存儲模塊，用于將所述HFile遷移數據存儲到HBase數據庫。

為實現上述目的，本發明還提供一種計算機設備，包括存儲器、處理器以及存儲在存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述數據遷移方法的步驟。