[發明專利]敏感詞處理方法、裝置及可讀存儲介質

在審

• 申請號: 202010749195.5
• 申請日: 2020-07-30
• 公開（公告）號: CN111859093A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 牟海剛;張煜;于向麗
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/9532
• 分類號: G06F16/9532
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 羅英;臧建明

本申請實施例提供一種敏感詞處理方法、裝置及可讀存儲介質，該方法通過獲取待識別文本，并根據預先建立的決策樹對待識別文本進行敏感詞識別，獲得敏感詞識別結果；其中，本申請實施例中的決策樹是預先通過DFA算法以及敏感詞庫建立的，敏感詞庫是根據運營商數據庫建立的。根據運營商數據建立的敏感詞庫與運營商想要過濾的敏感詞的契合度較高，因此，能夠有效提高敏感詞識別結果的準確度；另外，本申請實施例中決策樹能夠自動對待識別文本進行識別，提高了敏感詞識別的處理效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種敏感詞處理方法、裝置及可讀存儲介質。

背景技術

隨著互聯網技術的不斷發展，人們可以通過互聯網快速獲取信息，與此同時，一些非法以及不良言論也可能出現在互聯網信息中，因此，對于不法及不良言論的識別以及過濾對于互聯網安全來說至關重要。

現有技術中，通常通過建立敏感詞庫對互聯網信息進行敏感詞識別，并根據識別結果確定文本中是否存在敏感詞。現有技術中的敏感詞庫中的敏感詞通常是直接從互聯網下載，這會導致敏感詞庫中的敏感詞與運營商想要過濾的敏感詞之間的契合度較低，則進一步會導致敏感詞識別結果的準確度較低。

發明內容

本申請實施例提供一種敏感詞處理方法、裝置及可讀存儲介質，以提高敏感詞識別結果的準確度。

第一方面，本申請實施例提供一種敏感詞處理方法，該方法包括：

獲取待識別文本；

根據預先建立的決策樹對所述待識別文本進行識別，獲得敏感詞識別結果；其中，所述決策樹是預先通過確定有窮自動機DFA算法以及敏感詞庫建立的，所述敏感詞庫是根據運營商數據庫建立的。

可選地，所述方法還包括：

根據敏感詞挖掘模型通過文本挖掘算法對運營商數據庫中的文本內容進行分析，獲得所述敏感詞庫中的第一敏感詞子集，所述第一敏感詞子集中的敏感詞與所述敏感詞庫中的至少一個其他敏感詞子集中的敏感詞的相似度滿足預設要求。

可選地，所述運營商數據庫中的文本內容為結構化的文本內容。

可選地，所述方法還包括：根據所述敏感詞識別結果，過濾所述待識別文本中的敏感詞，獲得過濾后的文本。

可選地，所述方法還包括：根據所述第一敏感詞子集對所述敏感詞挖掘模型進行優化，獲得優化后的敏感詞挖掘模型。

第二方面，本申請實施例還提供一種敏感詞處理裝置，該裝置包括：

獲取模塊，用于獲取待識別文本；

處理模塊，用于根據預先建立的決策樹對所述待識別文本進行識別，獲得敏感詞識別結果；其中，所述決策樹是預先通過確定有窮自動機DFA算法以及敏感詞庫建立的，所述敏感詞庫是根據運營商數據庫建立的。

可選地，所述處理模塊，還用于根據敏感詞挖掘模型通過文本挖掘算法對運營商數據庫中的文本內容進行分析，獲得所述敏感詞庫中的第一敏感詞子集，所述第一敏感詞子集中的敏感詞與所述敏感詞庫中的至少一個其他敏感詞子集中的敏感詞的相似度滿足預設要求。

可選地，所述處理模塊，還用于根據所述第一敏感詞子集對所述敏感詞挖掘模型進行優化，獲得優化后的敏感詞挖掘模型。

第三方面，本申請實施例還提供一種敏感詞處理裝置，包括：存儲器、處理器及計算機程序指令；

所述存儲器存儲所述計算機程序指令；

所述處理器執行所述計算機程序指令，以執行如第一方面任一項所述的敏感詞處理方法。

第四方面，本申請實施例還提供一種敏感詞處理裝置，包括：程序；