[發明專利]基于Hive數據倉庫的數據自動變形傳輸方法

在審

• 申請號: 202110352519.6
• 申請日: 2021-03-31
• 公開（公告）號: CN112861185A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 劉聰;梁杰;趙吉昆;李丹峰
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/28;G06F16/27;G06F16/25;G06F16/182
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

本發明提供一種基于Hive數據倉庫的數據自動變形傳輸方法，適于信息安全技術領域，該方法包括：獲取數據變形清單、數據恢復清單以及Hive數據倉庫元數據字段信息；根據所述數據變形清單、所述數據恢復清單以及所述元數據字段信息拼接數據變形抽取腳本；控制源集群的Hive數據倉庫中執行所述數據變形抽取腳本以將變形后的數據抽取到所述源集群的備份庫中，實現Hadoop集群的hive生態組件中的數據敏感信息的自動變形、傳輸、上載以及數據自動變形恢復。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種基于Hive數據倉庫的數據自動變形傳輸方法。

背景技術

隨著人工智能技術的發展，大數據處理技術的應用越來越廣泛，對數據的依賴也越來越強，面對海量數據的沖擊，數據庫技術作為大數據處理的基礎技術，得到業界的重視。

對于生產環境Hadoop集群Hive數據倉庫存放大量業務數據，其中包含大量敏感信息。當對于業務功能進行測試驗證時，需要基于部分生產數據進行驗證。而生產數據的敏感性導致數據無法直接復制到測試驗證環境，限制了技術的發展。

發明內容

針對現有技術中的問題，本發明提供一種基于Hive數據倉庫的數據自動變形傳輸方法和裝置、電子設備以及計算機可讀存儲介質，能夠至少部分地解決現有技術中存在的問題。

為了實現上述目的，本發明采用如下技術方案：

第一方面，提供一種基于Hive數據倉庫的數據自動變形傳輸方法，包括：

獲取數據變形清單、數據恢復清單以及Hive數據倉庫元數據字段信息；

根據所述數據變形清單、所述數據恢復清單以及所述元數據字段信息拼接數據變形抽取腳本；

控制源集群的Hive數據倉庫中執行所述數據變形抽取腳本以將變形后的數據抽取到所述源集群的備份庫中。

進一步地，基于Hive數據倉庫的數據自動變形傳輸方法還包括：

將所述備份庫中的數據傳輸至目標集群。

進一步地，基于Hive數據倉庫的數據自動變形傳輸方法還包括：

根據所述數據變形抽取腳本控制目標集群建表、分區以及接收所述變形后的數據。

進一步地，所述根據所述數據變形清單、所述數據恢復清單以及所述元數據字段信息拼接數據變形抽取腳本，包括：

根據所述數據恢復清單獲取Hive庫名、表名；

關聯Hive元數據字段信息得到庫名、表名、字段名；

關聯數據變形清單得到庫名、表名、字段名、需要變形字段類型以及變形函數；

根據所述庫名、表名、字段名、需要變形字段類型以及變形函數生成數據抽取HQL語句，得到數據變形抽取腳本。

進一步地，基于Hive數據倉庫的數據自動變形傳輸方法還包括：

設置各字段類型對應的變形函數。

進一步地，所述數據變形抽取腳本的邏輯為：

檢查源集群是否存在備份庫，若不存在則新建備份庫；

檢查備份庫中是否存在待恢復表，若存在則刪除表；

根據所述庫名、表名、字段名創建備份表；

根據所述庫名、表名、字段名篩選Hive數據倉庫中源表信息，在需要變形的字段外嵌套變形函數；

篩選出來帶嵌套變形函數的源表信息插入到備份庫備份表中。