[發明專利]大數據系統的可視化脫敏數據生成方法

在審

• 申請號: 202110721329.7
• 申請日: 2021-06-28
• 公開（公告）號: CN113420330A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 馬駿;凌笑;蔣破荒;余琦;薛靜遠
• 申請（專利權）人: 國網湖南省電力有限公司;國網湖南省電力有限公司信息通信分公司;國家電網有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/34;G06F21/60
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種大數據系統的可視化脫敏數據生成方法，包括獲取源端數據；對源端數據進行脫敏處理；將脫敏后的數據進行展示；根據用戶的需求對展示的數據進行生成和導出。本發明提供的這種大數據系統的可視化脫敏數據生成方法，通過自編輯SPL腳本進行數據的脫敏，同時再根據數據類型的不同進行數據的生成和導出，保證了本發明方法的可靠性高、實用性好且科學穩定。

技術領域

本發明屬于數據處理領域，具體涉及一種大數據系統的可視化脫敏數據生成方法。

背景技術

隨著經濟技術的發展，大數據系統的數據可視化已經成為了越來越多的人和企業的需求。因此，大數據系統的可視化數據生成，就成為了現今的研究熱點之一。

但是，現今的大數據系統的可視化數據生成方法中存在著許多問題，尤其在用戶敏感信息的脫敏階段。在數據脫敏階段，要么不能保持原有數據的特征，使得測試人員不能明白測試數據的具體含義，使得測試具體功能時模棱兩可，達不到測試的效果；要么不能保證數據之間的關聯或者業務之間的關聯，使得測試人員看不懂這些數據表之間的關聯特性從而無法測試；要么就是脫敏力度不夠，使得想活的相關具體信息的人能夠較快的破解相關的信息。這些脫敏階段的技術缺陷，使得現有的大數據系統的可視化數據生成方法存在極大的缺陷，從而嚴重限制了其應用范圍和效果。

發明內容

本發明的目的在于提供一種可靠性高、實用性好且科學穩定的大數據系統的可視化脫敏數據生成方法。

本發明提供的這種大數據系統的可視化脫敏數據生成方法，包括如下步驟：

S1.獲取源端數據；

S2.對步驟S1獲取的源端數據進行脫敏處理；

S3.將步驟S2得到的脫敏后的數據進行展示；

S4.根據用戶的需求，對展示的數據進行生成和導出。

步驟S2所述的對步驟S1獲取的源端數據進行脫敏處理，具體為編寫SPL腳本，從而實現對數據的脫敏處理。

所述的對步驟S1獲取的源端數據進行脫敏處理，具體包括如下步驟：

1)數據替換：采用設置的固定虛構值替換真值，具體SPL腳本為：

A1＝file(數據脫敏驗證表.txt).import@t()

A2＝A1.run(字段名＝替換值)

其中，A1用于導入文本數據；A2用于將選擇字段列全部替換成了需要替換的數據；

2)數據無效化：通過對數據值進行處理，使得敏感數據脫敏且不再局域利用價值；所述的處理包括截斷、加密和隱藏；具體SPL腳本為：

A1＝file(數據脫敏驗證表.txt).import@t()

A2＝A1.run(字段名＝”.......”)

A3＝A1.run(字段名＝left(字段名，n)+”.......”)，n為保留的數據數量

其中，A1用于導入文本數據；A2用于將數據值進行隱藏式無效化；A3用于將數據值進行截斷式無效化；

3)數據隨機化：采用隨機數據代替真實數據值，并保持替換值的隨機性以模擬樣本的真實性；具體SPL腳本為：

A1＝file(文本).import@it()

A2＝file(數據脫敏驗證表.txt).import@t()

A3＝A2.run(name＝A1(rand(A1.len())+1)+B1(rand(B1.len())+1))