[發明專利]敏感詞挖掘方法及其裝置、設備、介質

在審

• 申請號: 202210844576.0
• 申請日: 2022-07-18
• 公開（公告）號: CN115129913A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 鄭彥
• 申請（專利權）人: 廣州歡聚時代信息科技有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06F16/33;G06F16/35;G06F40/216;G06F40/289
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

本申請涉及電商信息技術領域中一種敏感詞挖掘方法及其裝置、設備、介質、產品，所述方法包括：獲取數據集，所述數據集包括敏感文本及其所屬的敏感類型；對各個敏感類型相對應的所述敏感文本進行多種粒度相對應的敏感詞提取操作，確定出多種粒度相對應的分詞，其中，第一種粒度的敏感詞基于單詞進行操作，第二種粒度的敏感詞基于分詞進行操作，第三種粒度的敏感詞基于共現詞進行操作；構造敏感詞表，將所提取的敏感詞與其所在的敏感文本所屬的敏感類型關聯存儲于該敏感詞表中。本申請能夠以不同粒度精準挖掘出多類敏感詞，為敏感詞檢測提供可靠和充足的參考信息，有助于提升電商信息安全檢測的可靠性。

技術領域

本申請涉及電商信息技術領域，尤其涉及一種敏感詞挖掘方法及其相應的裝置、計算機設備、計算機可讀存儲介質。

背景技術

敏感詞檢測是現代網絡監控的必要功能，檢測維度主要包括暴恐、色情、低俗、辱罵等等多種類型。在跨境電商中敏感詞檢測同樣至關重要，電商平臺的敏感詞可能廣泛出現在商品的商品信息中，例如商品標題、商品描述、商品圖片上的文字中，因而需要通過檢測確保商品信息中不存在敏感詞，方可允許將商品發布上線至電商平臺。

傳統技術中，多采用神經網絡模型基于待檢測文本的深層語義信息進行分類映射，將待檢測文本映射為不同的敏感類型標簽。眾所周知，神經網絡模型的訓練成本較高，嚴重依賴訓練樣本，但在跨境電商平臺中，各個獨立站的語料非常有限，難以適用人工智能方案。神經網絡模型的延時較高，以及需要的運算資源多，所以，盡管神經網絡模型相關的技術更為前沿，但在適應跨境電商服務場景需求時，總體效果反而不佳。

一種更傳統的方式中，可以基于規則匹配的方式進行敏感詞檢測，但這種方式嚴重依賴于敏感詞庫的詞匯量和準確性。對于敏感詞庫的構建，傳統的方式多基于人工采集或者粗召回來獲取，常導致詞匯量不足或者不夠精準，因而，如何實現對敏感詞的有效數據挖掘，值得探索。

發明內容

本申請的首要目的在于解決上述問題至少之一而提供一種敏感詞挖掘方法及其相應的裝置、計算機設備、計算機可讀存儲介質。

為滿足本申請的各個目的，本申請采用如下技術方案：

適應本申請的目的之一而提供的一種敏感詞挖掘方法，包括如下步驟：

獲取數據集，所述數據集包括敏感文本及其所屬的敏感類型；

對各個敏感類型相對應的所述敏感文本進行多種粒度相對應的敏感詞提取操作，確定出多種粒度相對應的分詞，其中，第一種粒度的敏感詞基于單詞進行操作，第二種粒度的敏感詞基于分詞進行操作，第三種粒度的敏感詞基于共現詞進行操作；

構造敏感詞表，將所提取的敏感詞與其所在的敏感文本所屬的敏感類型關聯存儲于該敏感詞表中。

進一步的實施例中，獲取數據集之前，還包括如下步驟：

獲取存在敏感詞的歷史商品的商品圖片及文本信息，所述文本信息包括商品的商品描述信息；

采用預先訓練至收斂的圖文識別模型，提取出所述存在敏感詞的商品圖片中的圖片文本，將該圖片文本和所述文本信息作為敏感文本；

采用預先訓練至收斂的文本分類模型對所述敏感文本進行分類，獲得敏感文本對應的敏感類型構造出數據集。

較佳的實施例中，構造敏感詞表之后，還包括如下步驟：

響應商品發布請求，獲取商品的商品圖片及文本信息，提取出相應的待檢測文本，所述文本信息包括商品的商品描述信息；

將待檢測文本與敏感詞表中多粒度相對應的敏感詞進行匹配，獲得相匹配的目標敏感詞；

根據所述各種粒度相對應的敏感詞對應預設的敏感系數，統計所述目標敏感詞對應的敏感系數，獲得敏感置信度作為所述待檢測文本對應的檢測評分；