[發明專利]大數據脫敏方法、系統、計算機可讀介質及設備

在審

• 申請號: 201711379866.8
• 申請日: 2017-12-20
• 公開（公告）號: CN108197486A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 熊鵬飛;余小軍
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/60
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 吳永亮

本發明公開了一種大數據脫敏方法、系統、計算機可讀介質及設備，其中，方法包括：獲取敏感數據；確認敏感數據的數據類型，通過轉變條件接口自動適配脫敏任務和選擇脫敏平臺；通過脫敏平臺讀取脫敏任務對應的敏感數據，并根據脫敏任務對敏感數據進行脫敏。適用于處理TB、PB級別的數據，支持異構數據源，可在不同應用場景下對執行引擎進行切換。解決了現有技術中數據脫敏系統存在不適用于大數據環境、不支持異構數據源、以及執行引擎單一的技術問題。

技術領域

本發明涉及信息安全技術領域，尤其涉及一種大數據脫敏方法、系統、計算機可讀介質及設備。

背景技術

2017年6月1日起施行的《網絡安全法》中明確說明了運營者使用用戶個人信息的原則，即“運營者不得泄露、篡改、損毀其收集的個人信息；未經被收集者同意，不得向他人提供個人信息，但是，經過處理無法識別特定個人且不能復原的除外。”其中“經過處理無法識別特定個人且不能復原”可以通過數據脫敏技術手段來實現。為了滿足監管要求，防止重要數據資產泄露風險，對數據進行脫敏處理是非常有必要的。

傳統數據脫敏主要是對文件或數據庫中數據按照一定規則進行變形，將變形后的數據使用到開發測試環境中。處理的數據量小，對數據處理的效率、安全級別要求不高。脫敏系統工作原理是：執行數據脫敏前先制定好脫敏方案，執行時系統對數據源數據進行自動發現，抽取數據后，根據配置的脫敏方案，對數據進行脫敏，脫敏后數據發放到測試環境或做數據分析。

現有技術中數據脫敏系統存在多種缺陷：1)不適用于大數據環境，主要針對數據庫、文件中數據進行脫敏，受限于單機處理能力，其處理的數據量小，不適用于處理TB、PB量級的數據，處理效率低；2)不支持異構數據源，主要是對數據庫中數據進行脫敏，不適配多種數據源；3)執行引擎單一，不便于擴展執行引擎，更不支持在不同應用場景下對執行引擎進行靈活切換。

發明內容

本發明提供一種大數據脫敏方法、系統、計算機可讀介質及設備，用以解決現有技術中數據脫敏系統存在不適用于大數據環境、不支持異構數據源、以及執行引擎單一的技術問題。

依據本發明的第一個方面，提供了一種大數據脫敏方法，所述方法包括：

獲取敏感數據；

確認敏感數據的數據類型，通過轉變條件接口自動適配脫敏任務和選擇脫敏平臺；

通過脫敏平臺讀取脫敏任務對應的敏感數據，并根據脫敏任務對敏感數據進行脫敏。

可選的，獲取敏感數據，包括：

獲取異構數據源，根據適配接口獲取異構數據源中的敏感數據。

可選的，異構數據源包括：

數據庫、文件、分布式消息系統kafka、以及日志收集系統flume中的至少一種數據源。

可選的，脫敏平臺包括：

批處理引擎Hadoop、微批處理引擎Spark Streaming、以及準實時處理引擎Storm中的至少一個處理引擎。

可選的，所述方法還包括：

記錄對敏感數據進行脫敏的信息。

可選的，確認敏感數據的數據類型，包括：

通過預設的評估條件對敏感數據進行字段敏感度評估，確定敏感數據的數據類型。

可選的，所述方法還包括：

獲取管理員權限，響應管理員對評估條件進行更改的操作，并生成操作日志。

依據本發明的第二個方面，提供了一種大數據脫敏系統，所述系統包括：

數據層，用于獲取敏感數據；