[發明專利]一種敏感詞過濾方法、裝置、電子設備、存儲介質

在審

• 申請號: 201710119329.3
• 申請日: 2017-03-02
• 公開（公告）號: CN108536693A
• 公開（公告）日: 2018-09-14
• 發明（設計）人: 陳朋
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供了一種敏感詞過濾方法、裝置、電子設備及存儲介質，該方法中，預先配置和加載敏感詞庫，并在敏感詞庫變化時重新加載敏感詞庫，具體步驟包括：獲取用戶輸入的文本；基于預先設定的步幅范圍對用戶輸入的文本進行遍歷；在遍歷過程中，對于遍歷到的每個文本字符串，將該文本字符串與加載的敏感詞庫中的所有敏感詞進行匹配，如果成功匹配到敏感詞庫中的一個敏感詞，則確定用戶輸入的文本中存在敏感詞，終止對用戶輸入的文本的遍歷操作，并禁止發布用戶輸入的文本；在遍歷結束后，如果確定遍歷到的所有文本字符串均未與敏感詞庫中的敏感詞匹配成功，則確定用戶輸入的文本中不存在敏感詞，允許發布用戶輸入的文本。

技術領域

本發明涉及通信技術領域，特別涉及一種敏感詞過濾方法、裝置、電子設備、存儲介質。

背景技術

當前互聯網中，存在各式論壇供用戶進行留言和評論，論壇中每天都會產生百萬級甚至千萬級別的帖子和評論，而其中不可避免的產生不符合主流價值觀和有違社會道德的留言或評論產生，如何能夠做到避免這些不好的評論被發出，發出后如何能夠做到快速的清理，成為了每個網站管理員必須面對的難題。

目前的主流解決方案均是采用了對文本的分詞，再將分詞結果比對敏感詞庫，從而判斷文本中是否包含指定敏感詞。然而，在網絡日益成為人們獲取信息、交流思想、休閑娛樂的重要平臺的今天，新鮮的網絡詞匯如雨后春筍一般涌現，而分詞工具所依賴的詞典不能做到實時更新，這就會導致分詞結果的不準確，例如，一些網絡詞匯被分割成不能代表其正確含義的詞匯，甚至一些詞匯會被錯誤的分隔，從而也間接導致了敏感詞過濾的準確度。

發明內容

有鑒于此，本發明的目的在于提供一種敏感詞過濾方法、裝置、電子設備、存儲介質，能夠提高敏感詞過濾的準確度。

為了達到上述目的，本發明提供了如下技術方案：

一種敏感詞過濾方法，預先配置和加載敏感詞庫，并在敏感詞庫變化時重新加載敏感詞庫，該方法包括：

獲取用戶輸入的文本；

基于預先設定的步幅范圍對用戶輸入的文本進行遍歷；

在遍歷過程中，對于遍歷到的每個文本字符串，將該文本字符串與加載的敏感詞庫中的所有敏感詞進行匹配，如果成功匹配到敏感詞庫中的一個敏感詞，則確定用戶輸入的文本中存在敏感詞，終止對用戶輸入的文本的遍歷操作，并禁止發布用戶輸入的文本；

在遍歷結束后，如果確定遍歷到的所有文本字符串均未與敏感詞庫中的敏感詞匹配成功，則確定用戶輸入的文本中不存在敏感詞，允許發布用戶輸入的文本。

一種敏感詞過濾裝置，包括：配置模塊、文本輸入模塊、實時文本過濾模塊；

所述配置模塊，用于配置和加載敏感詞庫，并在敏感詞庫變化時重新加載敏感詞庫；用于預先設定文本遍歷的步幅范圍；

所述文本輸入模塊，用于獲取用戶輸入的文本；

所述實時文本過濾模塊，包括第一遍歷子模塊、第一匹配子模塊；其中，

所述第一遍歷子模塊，用于基于配置模塊預先設定的步幅范圍對文本輸入模塊獲取的用戶輸入的文本進行遍歷；

所述第一匹配子模塊，用于在第一遍歷子模塊對用戶輸入的文本的遍歷過程中，對于遍歷到的每個文本字符串，將該文本字符串與加載的敏感詞庫中的所有敏感詞進行匹配，如果成功匹配到敏感詞庫中的一個敏感詞，則確定用戶輸入的文本中存在敏感詞，終止第一遍歷子模塊對用戶輸入的文本的遍歷操作，并禁止發布用戶輸入的文本；用于在遍歷子模塊對用戶輸入的文本的遍歷結束后，如果確定遍歷到的所有文本字符串均未與敏感詞庫中的敏感詞匹配成功，則確定用戶輸入的文本中不存在敏感詞，允許發布用戶輸入的文本。