[發明專利]一種視聽網站庫構建方法、視聽網站巡檢方法和系統

有效

• 申請號: 201711173735.4
• 申請日: 2017-11-22
• 公開（公告）號: CN107819781B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 李國華;白冰;張兆磊;申強
• 申請（專利權）人: 北京市博匯科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F16/958
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 逯長明;許偉群

1.一種視聽網站庫構建方法，其特征在于，所述方法包括：

從至少三種掃描方式的域名掃描結果中，獲取本地域名庫；

根據所述本地域名庫，獲取本地網站的分類信息，所述分類信息至少包括網頁關鍵詞和網頁描述信息；

根據所述分類信息，對所述本地網站進行分類，生成本地視聽類待審網站庫；

根據所述本地視聽類待審網站庫，從本地視聽類待審網站的網頁中獲取網站許可信息，所述網站許可信息至少包括ICP備案信息；

根據所述本地視聽類待審網站庫和所述網站許可信息，構建本地視聽網站庫。

2.根據權利要求1所述的方法，其特征在于，所述從至少三種掃描方式的域名掃描結果中，獲取本地域名庫的步驟，包括：

根據IP端口掃描，域名庫定向掃描，以及全網蔓延掃描方式，獲取所述域名掃描結果；

對所述域名掃描結果進行數據合并，取交集，以及數據清洗，去除非本地域名，生成本地域名庫。

3.根據權利要求1所述的方法，其特征在于，所述根據本地視聽類待審網站庫和所述網站許可信息，構建本地視聽網站庫的步驟之前，還包括：

校驗所述許可信息，當所述許可信息有誤時，更正所述許可信息。

4.一種視聽網站巡檢方法，其特征在于，所述方法包括：

根據本地視聽網站庫，創建本地視聽網站的巡檢隊列；

從所述巡檢隊列中獲取當前被檢網站，采集所述當前被檢網站的網站信息，所述網站信息包括分類信息、網頁截屏和全部鏈接文本信息中的至少一項；

根據所述網站信息，對所述當前被檢網站進行數據監測，所述數據監測包括網站類型監測、網站版面監測、網站有效性監測和網站內容監測中的至少一項；

根據對所述當前被檢網站進行數據監測的結果，更新所述當前被檢網站的巡檢歷史信息庫，如果所述巡檢歷史信息庫不存在，則創建所述巡檢歷史信息庫；

根據對所述當前被檢網站進行數據監測的結果，更新所述本地視聽網站庫。

5.根據權利要求4所述的方法，其特征在于，所述網站類型監測，包括：

根據所述分類信息，獲取所述當前被檢網站是否為視聽類網站；

如果不為視聽類網站，則網站類型發生變化。

6.根據權利要求4所述的方法，其特征在于，所述網站版面監測，包括：

從所述當前被檢網站的首頁截屏中獲取所述當前被檢網站的版面信息；

將所述版面信息與所述當前被檢網站的預存版面信息進行一致性比對；

如果一致性低于預設閾值，則網站版面發生變化。

7.根據權利要求4所述的方法，其特征在于，所述網站有效性監測，包括：

分析采集所述網站信息時，是否返回失敗信息；

如果返回失敗信息，則所述當前被檢網站已失效。

8.根據權利要求4所述的方法，其特征在于，所述網站內容監測，包括：

根據預設敏感詞信息庫，從所述鏈接文本信息中獲取敏感文本；

如果獲取到所述敏感文本，分析所述當前被檢網站中是否存在有害內容；

如果存在所述有害內容，獲取所述有害內容的類型，生成有害內容分類統計結果。

9.根據權利要求4所述的方法，其特征在于，所述網站版面監測，還包括：

當所述網站版面發生變化時，保存所述網頁截屏，并對所述網頁截屏添加截屏時間戳。

10.一種視聽網站巡檢系統、其特征在于，所述系統包括：

存儲器和處理器；

所述存儲器，用于存儲本地視聽網站庫、巡檢歷史信息庫、網站信息，以及所述處理器的可執行程序；

所述處理器被配置為：

根據所述本地視聽網站庫，創建本地視聽網站的巡檢隊列；

從所述巡檢隊列中獲取當前被檢網站，采集所述當前被檢網站的所述網站信息，所述網站信息包括分類信息、網頁截屏和全部鏈接文本信息中的至少一項；

根據所述網站信息，對所述當前被檢網站進行數據監測，所述數據監測包括網站類型監測、網站版面監測、網站有效性監測和網站內容監測中的至少一項；

根據對所述當前被檢網站進行數據監測的結果，更新所述當前被檢網站的所述巡檢歷史信息庫，如果所述巡檢歷史信息庫不存在，則創建所述巡檢歷史信息庫；

根據對所述當前被檢網站進行數據監測的結果，更新所述本地視聽網站庫。