[發明專利]一種同步Hive數據的方法、系統、電子設備及存儲介質在審
| 申請號： | 202011370159.4 | 申請日： | 2020-11-30 |
| 公開（公告）號： | CN112395295A | 公開（公告）日： | 2021-02-23 |
| 發明（設計）人： | 汪月;劉建輝;李亞飛;喬智;孫軍鋒 | 申請（專利權）人： | 北京明略昭輝科技有限公司 |
| 主分類號： | G06F16/22 | 分類號： | G06F16/22;G06F16/242;G06F16/2455;G06F16/27;G06F16/25;G06F16/16;G06F16/17;G06F16/182 |
| 代理公司： | 青島清泰聯信知識產權代理有限公司 37256 | 代理人： | 李紅巖 |
| 地址： | 100089 北京市海淀區*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 同步 hive 數據 方法 系統 電子設備 存儲 介質 | ||
1.一種同步Hive數據的方法，其特征在于，基于hive hooks，所述同步Hive數據的方法包括：
監控步驟：hive hooks監控hive的運行日志；
中間表創建步驟：讀取所述日志中hive的元數據，形成一張中間表；
輪詢步驟：Impala輪詢所述中間表，刷新所述元數據。
2.根據權利要求1所述的同步Hive數據的方法，其特征在于，所述監控步驟包括：
存儲步驟：存儲需要監控的hive sql操作類型；
數據獲取步驟：當hive執行操作時，輸出日志數據，所述數據包括數據庫的元數據，表的元數據。
3.根據權利要求1所述的同步Hive數據的方法，其特征在于，所述中間表創建步驟包括，讀取所述日志中hive的操作、所述元數據、所述表的元數據，形成一張中間表。
4.根據權利要求1所述的同步Hive數據的方法，其特征在于，所述輪詢步驟包括，Impala輪詢所述中間表，根據hive的操作刷新所述元數據。
5.一種同步Hive數據的系統，其特征在于，基于hive hooks，適用于上述權利要求1-4所述的同步Hive數據的方法，包括：
監控單元：hive hooks監控hive的運行日志；
中間表創建單元：讀取所述日志中hive的元數據，形成一張中間表；
輪詢單元：Impala輪詢所述中間表，刷新所述元數據。
6.根據權利要求5所述的同步Hive數據的系統，其特征在于，所述監控單元包括：
存儲模塊：存儲需要監控的hive sql操作類型；
數據獲取模塊：當hive執行操作時，輸出日志數據，所述數據包括數據庫的元數據，表的元數據。
7.根據權利要求6所述的同步Hive數據的系統，其特征在于，所述中間表創建單元包括，讀取所述日志中hive的操作、所述元數據、所述表的元數據，形成一張中間表。
8.根據權利要求7所述的同步Hive數據的系統，其特征在于，所述輪詢單元包括，Impala輪詢所述中間表，輪詢單元根據hive的操作刷新所述元數據。
9.一種電子設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其中，所述處理器執行所述計算機程序時實現如權利要求1至4中任一項所述的同步Hive數據的方法。
10.一種存儲介質，所述存儲介質上存儲有計算機程序指令，所述計算機程序指令被所述處理器執行時實現如權利要求1至4中任一項所述的同步Hive數據的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京明略昭輝科技有限公司，未經北京明略昭輝科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011370159.4/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
