[發明專利]Hive數據庫動態脫敏系統及實現方法

在審

• 申請號: 202110677285.2
• 申請日: 2021-06-18
• 公開（公告）號: CN113343299A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張濱;胡清;李國濤
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/28;G06F9/54;G06F8/38;G06F8/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種Hive數據庫動態脫敏系統及實現方法，屬于數據庫安全技術領域，本發明要解決的技術問題為如何在動態查詢數據時實現對敏感數據的實時脫敏，保證原始數據的有效性和查詢性能的同時避免敏感數據的泄露風險，采用的技術方案為：該系統采用Java Web技術棧進行項目開發，基于SpringBoot框架實現，并結合Ranger技術棧實時動態脫敏hive數據庫中的敏感數據；該系統包括脫敏算法管理單元及脫敏算法規則單元，脫敏算法管理單元用于將脫敏算法以UDF函數的方式同步到Hive數據庫；脫敏算法規則單元用于管理Hive數據、用戶及脫敏算法之間的關系，并對Hive數據表中的字段設置脫敏規則；其中，脫敏規則支持對不同用戶設置不同的脫敏算法。

技術領域

本發明涉及數據庫安全技術領域，具體地說是一種Hive數據庫動態脫敏系統及實現方法。

背景技術

信息化時代，數據是一筆寶貴的資產。不管企業還是政府單位，每天都在有意無意地收集、存儲、共享數據，且規模越來越大。與各類數據打交道，是現代企業成長的必經之路，但是敏感數據泄露的風險也與日俱增。

隨著信息化產業發展，數據倉庫技術的使用越來越普遍，而Hive數據庫是數據倉庫不可或缺的數據存儲工具。身份證信息、酒店入住記錄、用戶支付信息等，這些數據一旦泄露將涉及個人隱私安全。數據脫敏是一種為用戶提供虛假數據而非真實數據、防止敏感數據濫用的技術。在現有技術的數據脫敏過程中，動態脫敏的實現大部分是通過對查詢結果進行二次處理，解析其中的敏感數據并進行脫敏處理，此種方式對查詢性能有很大的影響。

故如何在動態查詢數據時實現對敏感數據的實時脫敏，保證原始數據的有效性和查詢性能的同時避免敏感數據的泄露風險是目前亟待解決的問題。

發明內容

本發明的技術任務是提供一種Hive數據庫動態脫敏系統及實現方法，來解決如何在動態查詢數據時實現對敏感數據的實時脫敏，保證原始數據的有效性和查詢性能的同時避免敏感數據的泄露風險的問題。

本發明的技術任務是按以下方式實現的，一種Hive數據庫動態脫敏系統，該系統采用Java Web技術棧進行項目開發，基于SpringBoot框架實現，并結合Ranger技術棧實時動態脫敏hive數據庫中的敏感數據；該系統包括，脫敏算法管理單元，用于將脫敏算法以UDF函數的方式同步到Hive數據庫；

脫敏算法規則單元，用于管理Hive數據、用戶及脫敏算法之間的關系，并對Hive數據表中的字段設置脫敏規則；其中，脫敏規則支持對不同用戶設置不同的脫敏算法。

作為優選，開發所述脫敏算法管理單元的web前端頁面，脫敏算法管理單元的web前端頁面是基于web技術中的jsp和js相關技術開發靜態頁面和功能函數，用戶通過脫敏算法管理單元的web前端頁面在線選擇脫敏算法，同時脫敏算法管理單元的web前端頁面支持仿真脫敏算法、Hash脫敏算法、截圖脫敏算法、遮掩脫敏算法、加密脫敏算法及變換脫敏算法，同時支持用戶對脫敏算法的參數進行自定義。

更優地，開發所述脫敏算法管理單元的后臺API接口，脫敏算法管理單元的后臺API接口用于維護用戶選擇的脫敏算法，對脫敏算法參數進行管理。

更優地，所述仿真脫敏算法適用于對身份證、護照、銀行卡、手機號及統一社會信用碼構成規則固定的數據進行脫敏，通過對固定規則的編碼進行隨機替換或映射替換，實現數據的仿真脫敏，在保證脫敏后數據可用性的同時，有效保留了數據的原始屬性。

Hash脫敏算法支持多種加密方式，加密方式包括MD5、SHA及MD3；

變換脫敏算法支持對日期按年、月、日的維度進行取整，支持對數字進行取整；

遮掩脫敏算法支持設置脫敏字符的起止位置及遮掩所用的字符。