[發明專利]一種大數據平臺的動態數據脫敏方法及系統

在審

• 申請號: 201711023700.2
• 申請日: 2017-10-27
• 公開（公告）號: CN107958158A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 李釗;胡囡;崔丙鋒;叢海洋;雷振江;王磊;陳碩;劉鵬宇;鄭永健;王思文;黃文思;羅義旺;李金湖;閆春生;劉揚
• 申請（專利權）人: 國網遼寧省電力有限公司;國網遼寧省電力有限公司電力科學研究院;國網信通億力科技有限責任公司;國家電網公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于電力信息大數據動態脫敏領域，特別涉及一種大數據平臺的動態數據脫敏方法及系統。

背景技術

自國務院發布《關于促進大數據發展的行動綱要》以來，大數據在我國的發展與應用上升到國家戰略層面，隨著國家大數據戰略的推進和大數據應用的逐步深化，電力大數據的發展已進入全新階段。全球諸多國家政府以及國際組織都認識到了大數據在各個領域的重要價值，大數據正在成為各領域新一輪競爭的重要發力點，隨著大數據時代的到來,大數據商業價值的挖掘,用戶的精準定位,大數據中蘊藏的巨大商業價值被逐步挖掘出來,但是同時也帶來了巨大的挑戰—數據信息安全。電力數據信息作為“克強指數”的一項重要，在宏觀調控、社會保障等方面的決策中起著及其重要的作用，因此電力數據的安全也備受關注。

大數據平臺作為支撐國家電網公司信息化建設的重要支撐平臺，存儲了大量的電網結構化、非結構化、半結構化數據，為了降低數據在存儲、傳輸及使用等環節造成數據泄露的風險，亟須出現一種安全、可靠、快速的數據脫敏方法。

我國現階段國家電網系統主要采用的是Hadoop生態系統作為大數據分布式系統基礎架構，Hadoop生態系統的大數據平臺隨著企業的不斷采用及開源組織的持續的優化、增強，已逐漸成為大數據平臺建設的標準產品。然而Hadoop最初的設計并未考慮其安全性，這些平臺專注于發展數據處理能力，忽視了其他能力的發展，但Hadoop生態系統作為一個分布式系統，承載了豐富的應用，集中了海量的數據，如何管理和保護這些數據充滿了挑戰，當前市場上，大數據平臺在數據本身的安全管控方面普遍存在嚴重缺失和較大的漏洞。

從企業內部來說，大數據平臺的安全管控能力缺失，使得平臺在數據存儲、處理以及使用等各環節造成數據泄露的風險較大，安全風險面廣，且缺乏有效的處理機制；另一方面，企業敏感數據的所有權和使用權缺乏明確界定和管理，可能造成用戶隱私信息的泄露和企業內部數據的泄露，直接造成企業聲譽和經濟的雙重損失。

本方法針對大數據敏感數據信息，通過對敏感數據的模糊化，確保敏感數據信息安全可靠，保證大數據平臺安全的建設，填補大數據平臺數據安全防護方面的空缺，有效降低大數據安全管控方面的風險。

發明內容

本發明通過利用戶權限控制策略、數據置換加密方式及敏感字檢查方式相結合，從數據加密方面解決大數據平臺在數據安全方面的缺陷，提升了大數據平臺的安全性，填補大數據平臺數據安全防護方面的空缺，有效降低大數據安全管控方面的風險；本發明一種大數據平臺的動態數據脫敏方法，其步驟如下：

步驟1獲取業務數據通過各業務應用系統通過數據采集設備、實際業務流程、窗口錄入、接口數據傳入等方式獲取各業務線得業務數據、外部數據等；

步驟2：抽取業務數據通過ETL數據抽取工具、大數據平臺接口組件等數據抽取工具根據各類數據特點和數據產生的時效性等將各業務系統的結構化、非結構化、海量等數據抽取至大數據平臺；

步驟3：存儲業務數據結合各類數據特點和大數據平臺的存儲特點，通過mysql、prosgresql等關系性數據庫、文件文件存儲等方式存儲各位業務數據；

步驟4：敏感數據判斷在業務應用調用各類數據時，基于數據脫敏的配置方法，根據業務應用使用者所具備的數據查看權限和數據敏感程度，進行敏感數據脫敏判斷，如果使用者權限較低或者數據敏感級別較高，則觸發數據脫敏處理，如果使用者權限較高或者數據敏感級別較低，未觸發數據脫密進程，則直接為業務使用者展示數據；

步驟5：根據信息規則庫的脫敏方法，利用隨機函數進行隨機匹配，對需要脫敏的數據進行數據脫敏；

步驟6：將脫敏后的數據向使用者展示；

上述一種大數據平臺的動態數據脫敏方法，步驟4判斷敏感數據通過設置敏感數據配置方法，平臺自動識別敏感數據，發現敏感數據后產生報警，保障數據在產生階段安全，敏感數據發現功能包括：信息規則庫建立、關系型數據檢測、敏感字段、內容描述四個部分；

上述一種大數據平臺的動態數據脫敏方法，步驟5數據脫敏針對Hadoop平臺Hive、Hbase大數據存儲組件結合用戶權限提供動態數據脫敏功能，保障敏感數據訪問安全，同時基于大數據安全分析技術，發現敏感數據訪問的異常行為，并提供敏感數據視圖，實現全局化數據管理和對各種類別敏感數據脫敏的精細化管理；通過數據脫敏及模糊化功能模塊在數據庫層面對數據進行屏蔽、加密、隱藏、審計或封鎖訪問途徑的方式，該模塊作為一個網關形式部署，所有需要進行敏感數據動態脫敏的應用系統需通過該產品實現對數據庫的訪問；