[發(fā)明專利]敏感數(shù)據(jù)掃描方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010565631.3
• 申請日: 2020-06-19
• 公開（公告）號: CN111737742B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 王若曾
• 申請（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F9/54;G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種敏感數(shù)據(jù)掃描方法和系統(tǒng)。該敏感數(shù)據(jù)掃描方法包括：數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)樣本，并將所述數(shù)據(jù)樣本發(fā)送到消息中間件；所述消息中間件將所述數(shù)據(jù)樣本進(jìn)行存儲(chǔ)；掃描節(jié)點(diǎn)集群中的每個(gè)掃描節(jié)點(diǎn)從所述消息中間件中讀取所述數(shù)據(jù)樣本，并對所述數(shù)據(jù)樣本進(jìn)行掃描，得到敏感數(shù)據(jù)。本發(fā)明實(shí)施例提高了敏感數(shù)據(jù)掃描的效率，對評估數(shù)據(jù)遷移過程的安全性，防止客戶敏感信息泄露有重要意義。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種敏感數(shù)據(jù)掃描方法和系統(tǒng)。

背景技術(shù)

數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)和管理數(shù)據(jù)的倉庫。在數(shù)據(jù)庫中，有些數(shù)據(jù)屬于敏感數(shù)據(jù)，例如，身份證號、姓名、企業(yè)客戶名稱、地址、電話等。這些敏感數(shù)據(jù)需要掃描出來進(jìn)行數(shù)據(jù)遷移，達(dá)到防止敏感數(shù)據(jù)泄露的目的。

目前，普遍采用集中式架構(gòu)，如瀏覽器/服務(wù)器模式，將掃描任務(wù)實(shí)現(xiàn)的核心部分集中到一臺服務(wù)器上。由于數(shù)據(jù)庫的數(shù)量多，存儲(chǔ)數(shù)據(jù)量巨大，集中式架構(gòu)已不能滿足掃描任務(wù)的高效要求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種敏感數(shù)據(jù)掃描方法和系統(tǒng)，以高效地從數(shù)據(jù)庫中識別敏感數(shù)據(jù)，從而保證評估數(shù)據(jù)遷移過程的安全性，達(dá)到防止敏感信息泄露的技術(shù)效果。

第一方面，本發(fā)明實(shí)施例提供了一種敏感數(shù)據(jù)掃描方法，包括：

數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)樣本，并將所述數(shù)據(jù)樣本發(fā)送到消息中間件；

所述消息中間件將所述數(shù)據(jù)樣本進(jìn)行存儲(chǔ)；

掃描節(jié)點(diǎn)集群中的每個(gè)掃描節(jié)點(diǎn)從所述消息中間件中讀取所述數(shù)據(jù)樣本，并對所述數(shù)據(jù)樣本進(jìn)行掃描，得到敏感數(shù)據(jù)。

可選的，所述數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)樣本，包括：

數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫的元數(shù)據(jù)；

所述數(shù)據(jù)采集模塊根據(jù)所述元數(shù)據(jù)確定讀取范圍，并讀取所述讀取范圍內(nèi)的數(shù)據(jù)樣本。

可選的，在所述數(shù)據(jù)采集模塊讀取所述讀取范圍內(nèi)的數(shù)據(jù)樣本之后，還包括：

所述數(shù)據(jù)采集模塊對所述讀取范圍內(nèi)的數(shù)據(jù)樣本進(jìn)行設(shè)定處理，得到所述數(shù)據(jù)樣本；

其中，所述設(shè)定處理包括設(shè)定類型字段的過濾處理、空數(shù)據(jù)樣本過濾處理和去重處理中的至少一項(xiàng)。

可選的，所述掃描節(jié)點(diǎn)集群中的每個(gè)掃描節(jié)點(diǎn)對所述數(shù)據(jù)樣本進(jìn)行掃描，得到敏感數(shù)據(jù)，包括：

掃描節(jié)點(diǎn)集群中的每個(gè)掃描節(jié)點(diǎn)確定所述數(shù)據(jù)樣本的長度；

如果所述數(shù)據(jù)樣本的長度超過設(shè)定長度閾值，所述每個(gè)掃描節(jié)點(diǎn)采用文本分類器對所述數(shù)據(jù)樣本進(jìn)行敏感數(shù)據(jù)分類。

可選的，在所述確掃描節(jié)點(diǎn)集群中的每個(gè)掃描節(jié)點(diǎn)定所述數(shù)據(jù)樣本的長度之后，還包括：

如果所述數(shù)據(jù)樣本的長度未超過設(shè)定長度閾值，所述每個(gè)掃描節(jié)點(diǎn)采用至少一個(gè)正則表達(dá)式分別對所述數(shù)據(jù)樣本進(jìn)行敏感數(shù)據(jù)篩選；

其中，所述至少一個(gè)正則表達(dá)式分別為不同種類敏感數(shù)據(jù)的篩選邏輯公式。

可選的，在所述數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)樣本之前，還包括：

功能接口層獲取目標(biāo)數(shù)據(jù)庫的信息，并將所述目標(biāo)數(shù)據(jù)庫的信息存儲(chǔ)至配置數(shù)據(jù)庫中；

所述數(shù)據(jù)采樣模塊讀取目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)樣本，包括：

數(shù)據(jù)采樣模塊從所述配置數(shù)據(jù)庫中讀取所述目標(biāo)數(shù)據(jù)庫的信息，并根據(jù)所述目標(biāo)數(shù)據(jù)庫的信息鏈接所述目標(biāo)數(shù)據(jù)庫；

數(shù)據(jù)采樣模塊從鏈接到的所述目標(biāo)數(shù)據(jù)庫讀取數(shù)據(jù)樣本。