[發明專利]在HIVE中數據遷移方法、裝置及終端設備有效
| 申請號： | 201710432592.8 | 申請日： | 2017-06-09 |
| 公開（公告）號： | CN107301214B | 公開（公告）日： | 2020-08-28 |
| 發明（設計）人： | 陶勝 | 申請（專利權）人： | 廣州虎牙信息科技有限公司 |
| 主分類號： | G06F16/21 | 分類號： | G06F16/21 |
| 代理公司： | 北京市立方律師事務所 11330 | 代理人： | 劉延喜;王增鑫 |
| 地址： | 511442 廣東省廣州市番禺區南村鎮萬博二*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | hive 數據 遷移 方法 裝置 終端設備 | ||
1.一種在HIVE中數據遷移方法，其特征在于，包括如下步驟：
將源數據庫的數據文件通過Hive映射為源表；
根據數據記錄的長度統計源表的預設分區的數據記錄條數，利用斷言函數判斷源表的預設分區是否存在數據記錄，當所述源表的預設分區的數據記錄條數大于零時，確定所述源表的預設分區存在數據記錄；
當所述源表的預設分區存在數據記錄時，獲取所述源表的預設分區的數據記錄；
將所述源表的預設分區的數據記錄進行加工處理，形成加工后的數據記錄后寫入目標數據庫的目標表的對應分區中；
利用斷言函數判斷目標表對應分區的數據記錄條數與源表預設分區的數據記錄條數是否相同，若相同，刪除源表的預設分區的數據記錄。
2.根據權利要求1所述的方法，其特征在于，在所述判斷源表的預設分區是否存在數據記錄之后，還包括：當所述源表的預設分區不存在數據記錄時，輸出異常信息并停止執行后續操作。
3.根據權利要求1所述的方法，其特征在于，在所述判斷目標表對應分區的數據記錄數與源表預設分區的數據記錄數是否相同之后，還包括：若不相同，輸出異常信息并停止執行后續步驟。
4.一種在HIVE中數據遷移裝置，其特征在于，包括：
加載模塊：用于將源數據庫的數據文件通過Hive映射為源表；
判斷模塊：用于根據數據記錄的長度統計源表的預設分區的數據記錄條數，利用斷言函數判斷源表的預設分區是否存在數據記錄，當所述源表的預設分區的數據記錄條數大于零時，確定所述源表的預設分區存在數據記錄；
獲取模塊：用于當所述源表的預設分區存在數據記錄時，獲取所述源表的預設分區的所有字段的數據記錄；
遷移模塊：用于將所述源表的預設分區的數據記錄進行加工處理，形成加工后的數據記錄后寫入目標數據庫的目標表的對應分區中；
刪除模塊：用于利用斷言函數判斷目標表對應分區的數據記錄條數與源表預設分區的數據記錄條數是否相同，若相同，刪除源表的預設分區的數據記錄。
5.一種終端設備，包括處理器及存儲器，所述存儲器中存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-3任意一項所述方法的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于廣州虎牙信息科技有限公司，未經廣州虎牙信息科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710432592.8/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：智能問答方法及裝置
- 下一篇：一種搜索結果緩存方法及裝置、搜索方法及裝置
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
