[發明專利]一種大數據平臺的動態數據脫敏方法及系統

在審

• 申請號: 201711023700.2
• 申請日: 2017-10-27
• 公開（公告）號: CN107958158A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 李釗;胡囡;崔丙鋒;叢海洋;雷振江;王磊;陳碩;劉鵬宇;鄭永健;王思文;黃文思;羅義旺;李金湖;閆春生;劉揚
• 申請（專利權）人: 國網遼寧省電力有限公司;國網遼寧省電力有限公司電力科學研究院;國網信通億力科技有限責任公司;國家電網公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發明一種大數據平臺的動態數據脫敏方法及系統，其方法步驟如下：步驟1獲取業務數據通過各業務應用系統通過數據采集設備、實際業務流程、窗口錄入、接口數據傳入等方式獲取各業務線得業務數據、外部數據等；步驟2：抽取業務數據通過ETL數據抽取工具、大數據平臺接口組件等數據抽取工具根據各類數據特點和數據產生的時效性等將各業務系統的結構化、非結構化、海量等數據抽取至大數據平臺；步驟3：存儲業務數據結合各類數據特點和大數據平臺的存儲特點，通過mysql、prosgresql等關系性數據庫、文件文件存儲等方式存儲各位業務數據；步驟4：敏感數據判斷在業務應用調用各類數據時，基于數據脫敏的配置方法，根據業務應用使用者所具備的數據查看權限和數據敏感程度，進行敏感數據脫敏判斷，如果使用者權限較低或者數據敏感級別較高，則觸發數據脫敏處理，如果使用者權限較高或者數據敏感級別較低，未觸發數據脫密進程，則直接為業務使用者展示數據；步驟5：根據信息規則庫的脫敏方法，利用隨機函數進行隨機匹配，對需要脫敏的數據進行數據脫敏；步驟6：將脫敏后的數據向使用者展示；一種大數據平臺的動態數據脫敏系統，由數據源模塊、存儲模塊、計算模塊、脫敏模塊、應用模塊組成，其連接方式為順序連接。

2.根據權利要求1中所述，一種大數據平臺的動態數據脫敏方法，步驟4判斷敏感數據通過設置敏感數據配置方法，平臺自動識別敏感數據，發現敏感數據后產生報警，保障數據在產生階段安全，敏感數據發現功能包括：信息規則庫建立、關系型數據檢測、敏感字段、內容描述四個部分。

3.根據權利要求1所述，一種大數據平臺的動態數據脫敏方法，步驟5數據脫敏針對Hadoop平臺Hive、Hbase大數據存儲組件結合用戶權限提供動態數據脫敏功能，保障敏感數據訪問安全，同時基于大數據安全分析技術，發現敏感數據訪問的異常行為，并提供敏感數據視圖，實現全局化數據管理和對各種類別敏感數據脫敏的精細化管理；通過數據脫敏及模糊化功能模塊在數據庫層面對數據進行屏蔽、加密、隱藏、審計或封鎖訪問途徑的方式，該模塊作為一個網關形式部署，所有需要進行敏感數據動態脫敏的應用系統需通過該產品實現對數據庫的訪問。

4.根據權利要求1所述，一種大數據平臺的動態數據脫敏系統，其特征在于，數據源模塊包括用電采集系統和營銷業務應用系統的配變負荷數據、配電變壓器所屬區域數據、設備信息、客戶信息數據、電流電壓數據信息。

5.根據權利要求1所述，一種大數據平臺的動態數據脫敏系統，其特征在于，存儲模塊采用關系數數據庫、分布式文件系統、分布式在線數據庫等存儲技術，提供關系型數據存儲、分布式文件存儲數據存儲能力，同時提供統一存儲訪問接口。

6.根據權利要求1所述，一種大數據平臺的動態數據脫敏系統，其特征在于，計算模塊提供批量計量、流計算等數據處理技術，并支撐SQL查詢，滿足不同時效性計算需求；批量計算支持大批量數據離線分析，如歷史數據報表分析；流計算支持實時處理，如用電數據實時處理、預警；同時提供類似SQL的查詢分析技術，將查詢語句轉譯為并行的分布式計算任務。

7.根據權利要求1所述，一種大數據平臺的動態數據脫敏系統，其特征在于，脫敏模塊依據數據庫用戶名、IP、客戶端工具類型、訪問時間，甚至業務用戶身份等多重身份特征進行訪問控制，對生產數據庫中返回的數據可以進行放行、屏蔽、隱藏、返回行控制等多種脫敏方法。

8.根據權利要求1所述，一種大數據平臺的動態數據脫敏系統，其特征在于，應用模塊為電力各業務條線提供按需的應用服務，包括：電量電費應用、智能巡檢應用、業務報裝應用、物資到貨應用、人員分析應用、基建應用、綜合計劃應用。