[發明專利]一種基于大數據的有害信息監測方法及系統

在審

• 申請號: 201710719520.1
• 申請日: 2017-08-21
• 公開（公告）號: CN107480275A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 王先煉
• 申請（專利權）人: 成都西維數碼科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙)11548
• 代理人: 李靜

1.一種基于大數據的有害信息監測方法，其特征在于，包括：

利用網絡爬蟲對監測網站的內容進行實時爬取，以獲取網頁的頁面信息；

對網頁的頁面信息，進行分析、分詞，建立文檔索引和關鍵詞索引，并保存至索引數據庫；

根據詞庫文件，計算監測網站的網頁的關鍵詞評分，所述詞庫文件包括負面關鍵詞和正面關鍵詞，所述負面關鍵詞設有對應的正分值，所述正面關鍵詞設有對應的負分值；

當監測網站的網頁的關鍵詞評分大于預設閾值時，對所述監測網站進行記錄；

向所述監測網站的所有者發送通告信息，所述通告信息包含網頁記錄原因、記錄的關鍵詞、處置方式。

2.根據權利要求1所述的基于大數據的有害信息監測方法，其特征在于，所述向所述監測網站的所有者發送通告信息的步驟之后，包括：

判斷預設時間之內是否接收到所述監測網站的所有者的處置反饋信息；

當預設時間之內接收到所述監測網站的所有者的處置反饋信息時，根據所述反饋信息，對所述監測網站進行處理；

當預設時間之內未接收到所述監測網站的所有者的處置反饋信息時，對所述監測網站進行阻斷。

3.根據權利要求1所述的基于大數據的有害信息監測方法，其特征在于，向所述監測網站的所有者發送通告信息，包括：

通過移動應用通知所述監測網站的所有者；或者，

通過郵件通知的方式通知所述監測網站的所有者；或者，

通過在用戶訪問網站的時，返回通知信息；或者，

通過后臺系統通知所述監測網站的所有者。

4.根據權利要求1所述的基于大數據的有害信息監測方法，其特征在于，所述根據詞庫文件，計算監測網站的網頁的關鍵詞評分的步驟，包括：

根據詞庫文件，確定負面關鍵詞的分值及正面關鍵詞的分值，將所有負面關鍵詞的分值與所有正面關鍵詞的分值相加，所述負面關鍵詞和正面關鍵詞的分值由重要性或二義性確定。

5.根據權利要求2所述的基于大數據的有害信息監測方法，其特征在于，所述當預設時間之內接收到所述監測網站的所有者的處置反饋信息時，根據所述反饋信息，對所述監測網站進行處理的步驟，包括：

當所述反饋信息為確認監測結果正確，并完成處理的信息時，刪除所述監測網站的記錄；

當所述反饋信息為監測結果有誤時，刪除所述監測網站的記錄，并更新詞庫文件。

6.一種基于大數據的有害信息監測系統，其特征在于，包括：

獲取模塊，用于利用網絡爬蟲對監測網站的內容進行實時爬取，以獲取網頁的頁面信息；

索引模塊，用于對網頁的頁面信息，進行分析、分詞，建立文檔索引和關鍵詞索引，并保存至索引數據庫；

計算模塊，用于根據詞庫文件，計算監測網站的網頁的關鍵詞評分，所述詞庫文件包括負面關鍵詞和正面關鍵詞，所述負面關鍵詞設有對應的正分值，所述正面關鍵詞設有對應的負分值；

記錄模塊，用于當監測網站的網頁的關鍵詞評分大于預設閾值時，對所述監測網站進行記錄；

通告模塊，用于向所述監測網站的所有者發送通告信息，所述通告信息包含網頁記錄原因、記錄的關鍵詞、處置方式。

7.根據權利要求6所述的基于大數據的有害信息監測系統，其特征在于，還包括處理模塊，所述處理模塊包括：

判斷單元，用于判斷預設時間之內是否接收到所述監測網站的所有者的處置反饋信息；

處理單元，用于當預設時間之內接收到所述監測網站的所有者的處置反饋信息時，根據所述反饋信息，對所述監測網站進行處理；

阻斷單元，用于當預設時間之內未接收到所述監測網站的所有者的處置反饋信息時，對所述監測網站進行阻斷。

8.根據權利要求6所述的基于大數據的有害信息監測系統，其特征在于，所述通告模塊包括：

第一通告單元，用于通過移動應用通知所述監測網站的所有者；或者，

第二通告單元，用于通過郵件通知的方式通知所述監測網站的所有者；或者，

第三通告單元，用于通過在用戶訪問網站的時，返回通知信息；或者，

第四通告單元，用于通過后臺系統通知所述監測網站的所有者。