[發明專利]一種基于信息監測的關鍵詞發現方法、系統和電子設備

在審

• 申請號: 202010944647.5
• 申請日: 2020-09-10
• 公開（公告）號: CN112131462A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 李洪海;鄧雯;陳金朋;肖鴻武;梁朝策
• 申請（專利權）人: 中數通信息有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/955
• 代理公司: 北京知匯林知識產權代理事務所(普通合伙) 11794
• 代理人: 董濤

本申請公開了一種基于信息監測的關鍵詞發現方法、系統和電子設備，該方法包括：監測調度設置監測任務，設置定時任務以及相關任務參數；監測目標獲取是到達任務監測時點后，獲取監測詞匯在任務設定的搜索引擎的前N條搜索結果，根據結果域名去重；監測內容采集是利用爬蟲獲取指定域名下的網站，以及其外部鏈接的網站的內容；內容分析處理是對網站內容進行分詞，并建立詞集；使用關鍵詞推薦算法對詞集中的詞匯進行處理，得到推薦結果；人工審核將推薦結果展示給審核人員。本發明能夠自動化生成關鍵詞清單，并根據目前不良信息的最新發展趨勢發現新的關鍵詞，替代原先需要人工采集和輸入關鍵詞的方法，有效提升網站內容監測的效率及準確性。

技術領域

涉及自信息識別技術領域，具體涉及一種基于信息監測的關鍵詞發現方法、系統和電子設備。

背景技術

虛擬的網絡世界與現實世界是對等的，現實世界中有美與丑、善與惡，網絡世界里同樣也有美與丑、善與惡。在互聯網剛剛興起的年代，人們上網主要為了查詢資料和信息，彼時不良信息還非常有限。然而，隨著互聯網的不斷發展，人們開始在網絡上追求娛樂、尋找商機、閱讀新聞，此時不良信息開始逐漸擴散。近幾年，不良信息甚至發展成為一種產業，并開始從單純的“知識型”信息向“謀利型”轉變，而且手段多樣、形式復雜，其中不乏很多違反法律、違反道德的不良信息，其中以色情類內容為主，還參雜著賭博、詐騙、槍械販賣等違法內容。打擊發布不良信息的網站，一直是我國有關單位的重要職責。如何快速從數量龐大的眾多網站中查找出含有不良信息的，是網絡信息安全的主要研究方向之一。

《中華人民共和國網絡安全法》相關規定，網絡運營者應當對用戶發布的信息進行管理，發現其存在法律法規所禁止的信息時，應當停止傳輸并消除該信息。目前，各通訊運營商通過互聯網網站安全監測平臺等實現對訪問網站的IP、端口和內容的監測分析來防止不良信息擴散的方法，仍然存在以下不足：

1)用于監測網站內容的關鍵詞清單仍需用戶手動采集輸入，工作效率低，需要消耗大量人力資源。而且人工審核還存在誤判斷和誤操作的風險；

2)關鍵詞的涉獵范圍有限，且無法根據當前不良信息的發展趨勢及時更新關鍵詞清單，信息量不足，導致系統檢測準確率不高。

發明內容

本發明所提出的一種基于信息監測的關鍵詞發現方法、系統和電子設備，該方法應用于通訊運營商的互聯網網站安全監測平臺，實現對訪問網站的IP、端口和內容的監測分析。該方法能夠自動化生成關鍵詞清單，并根據目前不良信息的最新發展趨勢發現新的關鍵詞，替代原先需要人工采集和輸入關鍵詞的方法，有效提升網站內容監測的效率及準確性。

本申請是通過如下技術方案實現的：

一種基于信息監測的關鍵詞發現方法，所述關鍵詞發現方法包括如下步驟：

步驟S101、監測計劃調度模塊將監測詞匯導入給監測目標獲取模塊使用；

步驟S102、所述監測目標獲取模塊通過監測計劃中設定的搜索引擎，用監測詞匯作為搜索引擎的搜索詞匯進行搜索，并將搜索結果交給所述監測內容采集模塊進行下一步的處理；

步驟S103、所述監測內容采集模塊對域名下的網站使用定向爬蟲獲取網站的內容，將通過所述爬取所獲得的所述網頁的正文發送給所述建立詞集模塊進行處理；

步驟S104、所述建立詞集模塊對所述網頁的正文進行處理，將生成的詞庫發送給關鍵詞推薦管理模塊處理；

步驟S105、所述關鍵詞推薦管理模塊使用關鍵詞推薦算法對所述詞庫中的詞語進行訓練，求解相似度并獲得關鍵詞因子，將所述關鍵詞因子進行排列組合，并把排列組合后的關鍵詞因子發送至所述人工審計模塊；

步驟S106、所述人工審計模塊將所述排列組合后的關鍵詞因子，交給審核人員進行人工審核，并根據人工審核結果，將關鍵詞因子添加至關鍵詞策略模塊和/或關鍵詞知識庫中。