[發明專利]一種網絡內容的分類方法和裝置

在審

• 申請號: 202111026455.7
• 申請日: 2021-09-02
• 公開（公告）號: CN113722622A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 丁正;顧曉東;董偉;周榮;趙學哲;程子帥;郭濤
• 申請（專利權）人: 上海欣方智能系統有限公司;上海欣方軟件有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/951;G06F16/957;G06K9/62;G06N3/04
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王雙;王琦

本申請公開了網絡內容的分類方法，包括：從網絡中獲取待分類的網頁URL，并寫入目標URL文檔；通過爬蟲引擎在網絡中爬取目標URL文檔中各URL網頁的內容，并將各網頁的內容保存為mhtml文檔，寫入互聯網內容存檔數據庫；根據保存的mhtml文檔，構建網頁URL對應的網頁內容圖表示；該網頁圖表示包括文本圖和圖片圖；對構建的網頁內容圖表示圖進行分類與識別，將分類和識別結果作為所述網頁內容圖表示對應的網頁URL的分類和識別結果；其中，在進行圖的分類與識別時，通過卷積和池化操作確定文本圖的特征向量和圖片圖的特征向量，并將文本圖的特征向量和圖片圖的特征向量進行拼接，作為網頁內容圖表示的特征向量。應用本申請，能夠有效對網絡內容進行分類。

技術領域

本申請涉及網絡處理技術，特別涉及一種網絡內容的分類方法和裝置。

背景技術

隨著網絡信息技術產業的蓬勃發展，特別是在網絡智能數字化的背景下，黑客攻擊、網絡詐騙、網絡色情以及網絡盜竊等違法犯罪活動正在悄然滋生。這些黑灰產內容游離在網絡監管的邊緣，擾亂人們正常的工作和生活秩序，滋生了社會不安定因素。近年來，政府相關部門多次開展打擊互聯網黑產內容的專項行動，有效打擊了互聯網黑產內容的蔓延。然而，由于互聯網內容本身具有易復制，易傳播的特點，互聯網黑產在專項行動結束后往往會死灰復燃。同時，專項行動也會占用大量的社會人力資源，尤其對于利用圖片以及圖片上顯示文字內容的方式進行傳播的相關內容，對其識別的難度更大。如何建立一種低成本的長效機制保持對互聯網黑產的高壓打擊態勢是一個值得研究的問題。

發明內容

本申請提供一種網絡內容的分類方法和裝置，能夠有效對網絡的文字和圖片內容進行分類和識別。

為實現上述目的，本申請采用如下技術方案：

一種網絡內容的分類方法，包括：

從網絡中獲取待分類的網頁URL，并寫入目標URL文檔；

通過爬蟲引擎在網絡中爬取目標URL文檔中各URL網頁的內容，并將各網頁的內容保存為mhtml文檔，寫入互聯網內容存檔數據庫；

根據保存的mhtml文檔，構建網頁URL對應的網頁內容圖表示；其中，所述網頁圖表示包括文本圖和圖片圖，文本圖中的頂點為文本頂點，圖片圖中的頂點為圖片頂點；

利用圖神經網絡對所述網頁內容圖表示進行圖的分類與識別，將分類和識別結果作為所述網頁內容圖表示對應的網頁URL的分類和識別結果；其中，在進行圖的分類與識別時，通過卷積和池化操作確定所述文本圖的特征向量和所述圖片圖的特征向量，并將文本圖的特征向量和圖片圖的特征向量進行拼接，作為所述網頁內容圖表示的特征向量。

較佳地，所述寫入目標URL文檔包括：將所述待分類的網頁URL利用白名單進行過濾，并將通過白名單的網頁URL寫入所述目標URL文檔。

較佳地，所述通過爬蟲引擎在網絡中爬取目標URL文檔中各URL網頁的內容包括：

將所述目標URL文檔中各網頁URL輸入到Redis任務隊列，所述爬蟲引擎利用多個爬蟲進程分別從所述Redis任務隊列中讀取網頁URL，并進行內容加載和渲染。

較佳地，在所述互聯網內容存檔數據庫中，每個mhtml文檔包括如下屬性中的至少一個：網頁URL、網頁host、網頁domain、網頁的服務器IP地址、網頁的Title字段內容。

較佳地，對于文本圖，所述構建網頁URL對應的網頁內容圖表示包括：

將mhtml文檔中保存的網頁文字內容表示為HTML樹；其中，將所述網頁內容中的文字內容元素配置為所述HTML樹的節點，對于所述網頁中包括文本信息的圖片，提取并識別嵌入圖片的文本，生成文本節點加入所述HTML樹中；