[發明專利]一種智能敏感字詞識別系統

在審

• 申請號: 202110490284.7
• 申請日: 2021-05-06
• 公開（公告）號: CN113177409A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 項超
• 申請（專利權）人: 上海慧洲信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高航知識產權代理有限公司 11530
• 代理人: 喬浩剛

本發明提供一種智能敏感字詞識別系統，包括：獲取模塊、文本識別模塊和圖片識別模塊；其中獲取模塊用于使用網絡爬蟲對目標網頁的文本和圖片進行抓取，獲取目標網頁的文本信息和圖片信息；文本識別模塊用于對獲取的文本信息進行預處理，對預處理后的文本信息進行敏感詞識別處理，獲取文本敏感詞識別結果；圖片識別模塊用于對獲取的圖片信息進行預處理，對預處理后的圖片信息進行文本提取，并根據提取的文本信息進行敏感詞識別處理，獲取圖片敏感詞識別結果。本發明能夠針對以圖片形式發布的敏感文字信息進行識別，并進一步將網站上的敏感信息進行屏蔽，保證了網站的信息健康環境，同時也有助于提高網站管理者對網站的管理水平。

技術領域

本發明涉及網絡管理技術領域，特別是一種智能敏感字詞識別系統。

背景技術

對于一個國家甚至世界來說，健康的網絡環境十分重要的，這關乎到這個社會的健康發展。然而，由于部分網站對用戶開放了較多的權限，例如論壇、貼吧、聊天室網站等，各用戶能夠在網站上自由發表信息或評論，因此也有一些不法用戶利用這些網站大肆發布敏感信息，容易導致網站上泛濫大量的敏感性文字和詞匯，如涉及色情、政治、民生、涉賭、涉毒等類別的詞匯，這嚴重影響著網站環境，給網站管理者帶來非常嚴峻的挑戰，故越來越多的網站管理機構開始采用專門的軟件來對自家的網站進行敏感性詞匯的監測。

現有技術中，很多傳統的監測軟件都是基于規則匹配的，大都基于預先設置好的敏感詞庫，然后對網站進行爬蟲，最后對網站進行詞匯匹配；但是，由于這種檢測方式模式過于單一，因此，容易被不法用戶輕易規避，例如將文字信息轉化成圖片的文件格式(例如是在一幅圖片的基礎上的空白位置編輯需要發布的敏感文字信息，然后將整個圖片進行發布)進行發布，以規避針對文本信息的敏感，影響針對網站敏感字詞識別檢測的可靠性。

發明內容

針對上述問題，本發明旨在提供一種智能敏感字詞識別系統。

本發明的目的采用以下技術方案來實現：

本發明示出一種智能敏感字詞識別系統，包括：獲取模塊、文本識別模塊和圖片識別模塊；其中，

獲取模塊用于使用網絡爬蟲對目標網頁的文本和圖片進行抓取，獲取目標網頁的文本信息和圖片信息；

文本識別模塊用于對獲取的文本信息進行預處理，對預處理后的文本信息進行敏感詞識別處理，獲取文本敏感詞識別結果；

圖片識別模塊用于對獲取的圖片信息進行預處理，對預處理后的圖片信息進行文本提取，并根據提取的文本信息進行敏感詞識別處理，獲取圖片敏感詞識別結果。

一種實施方式中，該系統還包括處理模塊；其中，

處理模塊用于當識別到目標網頁包含敏感信息時，屏蔽該敏感信息。

一種實施方式中，獲取模塊包括文字獲取單元和圖片獲取單元；其中，

文字獲取單元用于獲取目標網頁中的文本信息；

圖片獲取單元用于獲取目標網頁中的圖片信息。

一種實施方式中，文本識別模塊，具體包括：分詞單元、主題分類單元和識別單元；其中，

分詞單元用于對獲取的網頁文本信息進行分詞處理，將網頁文本信息拆分成由若干個單詞組成的詞向量集；

主題分類單元用于根據獲取的詞向量集進行主題分類識別，獲取該詞向量集的主題分類標簽；其中主題分類標簽包括：體育、教育、游戲、政府和企業等不同主題的標簽，每個主題分類標簽對應設置有對應的敏感詞庫；

識別單元用于根據該詞向量集的主題分類標簽，調用相應的基于深度學習的敏感詞識別模型對該詞向量集進行敏感詞識別，輸出文本敏感詞識別結果；其中調用的敏感詞識別模型由根據與該主題分類標簽對應的敏感詞庫訓練所得。