[發明專利]在HIVE中數據遷移方法、裝置及終端設備

有效

• 申請號: 201710432592.8
• 申請日: 2017-06-09
• 公開（公告）號: CN107301214B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 陶勝
• 申請（專利權）人: 廣州虎牙信息科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 劉延喜;王增鑫

本發明涉及數據處理領域，具體涉及一種在HIVE中數據遷移方法、裝置及終端設備，所述方法包括步驟：將源數據庫的數據文件通過Hive映射為源表；判斷源表的預設分區是否存在數據記錄；當所述源表的預設分區存在數據記錄時，獲取所述源表的預設分區的所有字段的數據記錄；將所述源表的預設分區的數據記錄寫入目標數據庫的目標表的對應分區中。發明通過HIVE將源數據庫的數據文件映射為源表，利用HIVE的分區屬性通過寫查詢語言的方式將數據從源表一部分一部分地寫入目標表中，以完成源數據庫的數據遷移至目標數據庫，操作簡單，邏輯清晰明了。

【技術領域】

本發明涉及數據處理領域，具體涉及一種在HIVE中數據遷移方法、裝置及終端設備。

【背景技術】

在大數據時代，數據格式越來越多種，數據量越來越龐大，有時候需要把數據從一個數據庫遷移至另一個數據庫，相應地，也就是要把數據從一個表遷移至另外一個表，數據遷移包括遷移和刪除操作，目前，數據遷移操作一是由人工手動完成，而人工手動完成費時且麻煩，或是在服務器寫shell腳本完成，而利用shell腳本完成所需邏輯復雜也麻煩，因此需要一種新的方案來解決大量數據的遷移問題。

【發明內容】

本發明的目的在于提供一種在HIVE中數據遷移方法，以將大量數據從源表(源數據庫)遷移至目標表(目標數據庫)中。

為實現該目的，本發明采用如下技術方案：

第一方面，本發明提供一種在HIVE中數據遷移方法，包括如下步驟：

將源數據庫的數據文件通過Hive映射為源表；

判斷源表的預設分區是否存在數據記錄；

當所述源表的預設分區存在數據記錄時，獲取所述源表的預設分區的所有字段的數據記錄；

將所述源表的預設分區的數據記錄寫入目標數據庫的目標表的對應分區中。

進一步的，在所述將所述源表的預設分區的數據記錄寫入目標數據庫的目標表的對應分區中之后，還包括：

判斷目標表對應分區的數據記錄條數與源表預設分區的數據記錄條數是否相同，若相同，刪除源表的預設分區的數據記錄。

具體的，所述判斷源表的預設分區是否存在數據記錄，當所述源表的預設分區存在數據記錄時的步驟，包括：

利用斷言函數判斷源表的預設分區是否存在數據記錄；

當所述源表的預設分區的數據記錄條數大于零時，確定所述源表的預設分區存在數據記錄。

優選的，所述判斷目標表對應分區的數據記錄條數與源表預設分區的數據記錄條數是否相同，包括：

利用斷言函數判斷目標表對應分區的數據記錄數與源表預設分區的數據記錄數是否相同。

較佳的，在所述斷源表的預設分區是否存在數據記錄之后，當所述源表的預設分區不存在數據記錄時，輸出異常信息并停止執行后續操作。

較佳的，在所述判斷目標表對應分區的數據記錄數與源表預設分區的數據記錄數是否相同之后，若不相同，輸出異常信息并停止執行后續步驟。

進一步的，所述將所述源表的預設分區的數據記錄寫入目標數據庫的目標表的對應分區中，包括：

將所述源表的預設分區的數據記錄進行加工處理，形成加工后的數據記錄后寫入目標數據庫的目標表的對應分區中。

第二方面，本發明還提供一種在HIVE中數據遷移裝置，包括：

加載模塊：用于將源數據庫的數據文件通過Hive映射為源表；

判斷模塊：用于判斷源表的預設分區是否存在數據記錄；