[發明專利]敏感信息過濾方法、裝置及計算機可讀存儲介質

在審

• 申請號: 201910972272.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110889035A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 李康達;肖良清;羅瀅川;杜文剛
• 申請（專利權）人: 深圳前海金融資產交易所有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/903
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及一種人工智能技術，揭露了一種敏感信息過濾方法，包括：接收原始文本數據，對所述原始文本數據進行去異常處理得到初級文本數據，對所述初級文本數據進行預處理，得到待匹配哈希值表，根據預先構建的敏感信息哈希表和所述待匹配哈希值表對所述初級文本數據的敏感信息進行遍歷匹配操作，并用預先構建的符號替換匹配成功的敏感信息，當所述遍歷匹配操作完成后，得到敏感信息被替換后的文本數據并輸出所述替換后的文本數據。本發明還提出一種敏感信息過濾裝置以及一種計算機可讀存儲介質。本發明可以實現高效的敏感信息過濾功能。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種敏感信息過濾方法、裝置及計算機可讀存儲介質。

背景技術

隨著互聯網應用的普及，越來越多的用戶已經通過互聯網途徑進行學習，因此敏感信息過濾顯的刻不容緩，目前敏感信息過濾多采用模式匹配法，通過預先構建多種敏感信息的組合形式進行整個文本數據的遍歷與查找，因此若對于龐大的文本數據過濾，需要依賴處理性能優異的服務器或配置文件，因此浪費了大量匹配查找的計算資源，無法達到資源的充分高效利用。

發明內容

本發明提供一種敏感信息過濾方法、裝置及計算機可讀存儲介質，其主要目的在于對用戶操作的多個任務進行合理的資源分配。

為實現上述目的，本發明提供的一種敏感信息過濾方法，包括：

接收原始文本數據，對所述原始文本數據進行去異常處理得到初級文本數據；

對所述初級文本數據進行預處理，得到待匹配哈希值表；

根據預先構建的敏感信息哈希表和所述待匹配哈希值表對所述初級文本數據的敏感信息進行遍歷匹配操作，并用預先構建的符號替換匹配成功的敏感信息；

當所述遍歷匹配操作完成后，得到敏感信息被替換后的文本數據并輸出所述替換后的文本數據。

可選地，所述預處理包括：

依次讀取所述初級文本數據的字符串；

將所述字符串進行進制轉換和位數填充操作，生成預設位數的字符串；

對所述預設位數的字符串進行分組得到子字符串集合，采用預設初始方法初始化N個初始哈希變量，并根據所述子字符串集合將所述初始哈希變量進行鏈接處理得到N個鏈接變量；

將所述N個鏈接變量與所述N個初始哈希變量進行求和操作得到所述字符串的哈希值，直至所述求和操作完成得到待匹配哈希值表。

可選地，所述鏈接處理包括：

將所述N個初始哈希變量的第一初始哈希變量與所述子字符串集合、第二初始哈希變量進行求和操作得到鏈接變量H₀；

將所述第一初始哈希變量賦值給鏈接變量H₁；

將所述第二初始哈希變量左移30位得到鏈接變量H₂，將第三初始哈希變量賦值給鏈接變量H₃，將第四初始哈希變量賦值給鏈接變量H₄。

可選地，所述遍歷匹配操作包括：

檢索所述敏感信息哈希表與所述待匹配哈希值表；

當所述敏感信息哈希表與所述待匹配哈希值表內的哈希值的相同長度超過指定閾值長度時，從所述待匹配哈希值表中提取所述相同長度所在的哈希值；

根據所述哈希值建立信息熵模型，求解所述信息熵模型得到敏感信息組合；

根據所述敏感信息組合和預先構建的符號替換所述初級文本數據的敏感信息，完成所述遍歷匹配操作。

可選地，所述信息熵模型包括：