[發明專利]大數據脫敏方法、系統、計算機可讀介質及設備

在審

• 申請號: 201711379866.8
• 申請日: 2017-12-20
• 公開（公告）號: CN108197486A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 熊鵬飛;余小軍
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/60
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 吳永亮

1.一種大數據脫敏方法，其特征在于，所述方法包括：

獲取敏感數據；

確認所述敏感數據的數據類型，通過轉變條件接口自動適配脫敏任務和選擇脫敏平臺；

通過所述脫敏平臺讀取所述脫敏任務對應的敏感數據，并根據所述脫敏任務對所述敏感數據進行脫敏。

2.根據權利要求1所述的方法，其特征在于，所述獲取敏感數據，包括：

獲取異構數據源，根據適配接口獲取所述異構數據源中的敏感數據。

3.根據權利要求2所述的方法，其特征在于，所述異構數據源包括：

數據庫、文件、分布式消息系統kafka、以及日志收集系統flume中的至少一種數據源。

4.根據權利要求1所述的方法，其特征在于，所述脫敏平臺包括：

批處理引擎Hadoop、微批處理引擎Spark Streaming、以及準實時處理引擎Storm中的至少一個處理引擎。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

記錄對所述敏感數據進行脫敏的信息。

6.根據權利要求1所述的方法，其特征在于，確認所述敏感數據的數據類型，包括：

通過預設的評估條件對所述敏感數據進行字段敏感度評估，確定所述敏感數據的數據類型。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

獲取管理員權限，響應所述管理員對所述評估條件進行更改的操作，并生成操作日志。

8.一種大數據脫敏系統，其特征在于，所述系統包括：

數據層，用于獲取敏感數據；

脫敏管理層，用于確認所述敏感數據的數據類型，通過轉變條件接口自動適配脫敏任務和選擇脫敏平臺；

脫敏執行層，用于通過所述脫敏平臺讀取所述脫敏任務對應的敏感數據，并根據所述脫敏任務對所述敏感數據進行脫敏。

9.一種計算機可讀介質，其特征在于，所述計算機可讀介質存儲有大數據脫敏程序，當所述大數據脫敏程序被至少一個處理器執行時，導致所述至少一個處理器執行如權利要求1至7任意一項所述的方法步驟。

10.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至7中任意一項所述的方法步驟。