[發明專利]用于對網頁數據進行分類的分類模型的訓練方法及裝置

在審

• 申請號: 201910548164.0
• 申請日: 2019-06-24
• 公開（公告）號: CN112131445A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 胡單;陳偉
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06K9/62
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 劉鐵生;孟阿妮

1.一種用于對網頁數據進行分類的分類模型的訓練方法，其中，所述方法包括：

從網頁中對應不同路徑的網頁數據中獲取訓練樣本數據，所述訓練樣本數據包括網頁數據的網頁內容和路徑信息；

獲取關于所述訓練樣本數據的真實分類結果的分類標簽；

至少基于網頁內容和路徑信息來生成所述訓練樣本數據的特征；以及

基于由所述訓練樣本數據的特征以及訓練樣本數據的分類標簽組成的訓練樣本，通過預設機器學習算法，訓練用于對網頁數據進行分類的分類模型。

2.如權利要求1所述的方法，其中，所述至少基于網頁內容和路徑信息來生成所述訓練樣本數據的特征，包括：基于網頁內容生成訓練樣本數據的內容特征，并基于路徑信息生成訓練樣本的結構特征。

3.如權利要求2所述的方法，其中，所述至少基于網頁內容和路徑信息來生成所述訓練樣本數據的特征，還包括：

基于所述訓練樣本數據的路徑信息與預設標準路徑之間的差異來生成訓練樣本的路徑相似度特征，所述預設標準路徑對應所述網頁數據所屬網站中特定網頁數據的路徑。

4.如權利要求1所述的方法，其中，所述從網頁中對應不同路徑的網頁數據中獲取訓練樣本數據包括：

在各個網頁中，分別通過遍歷全部路徑的網頁數據來分別獲取對應網頁數據的網頁內容和路徑信息，作為所述訓練樣本數據。

5.如權利要求4所述的方法，其中，

所述基于網頁內容生成的內容特征包括以下項之中的至少一項：所述網頁內容是否為中文、所述網頁內容是否包含中文標點、所述網頁內容的長度、所述網頁內容是否包含特定關鍵詞、所述網頁內容包含的內容數量；

并且/或者，所述基于路徑信息生成的結構特征包括以下項之中的至少一項：路徑層數、路徑層標識中是否存在目標標識以及目標標識的路徑層中是否包含預設關鍵字。

6.一種基于分類模型對網頁數據進行分類的方法，其中，所述分類模型如權利要求1-5中任一項所述的分類模型，包括：

從待預測網頁數據中獲取預測樣本數據，所述預測樣本數據包括待預測網頁數據的網頁內容和路徑信息；

至少基于網頁內容和路徑信息，按照分類模型的訓練樣本數據的特征生成方式來生成所述預測樣本數據的特征；以及

利用所述分類模型，基于由所述預測樣本數據的特征組成的預測樣本，提供對待預測網頁數據進行分類的預測結果。

7.一種用于對網頁數據進行分類的分類模型的訓練裝置，其中，所述裝置包括：

第一獲取單元，用于從網頁中對應不同路徑的網頁數據中獲取訓練樣本數據，所述訓練樣本數據包括網頁數據的網頁內容和路徑信息；

第二獲取單元，用于獲取關于所述訓練樣本數據的真實分類結果的分類標簽；

生成單元，用于至少基于網頁內容和路徑信息來生成所述訓練樣本數據的特征；以及

訓練單元，用于基于由所述訓練樣本數據的特征以及訓練樣本數據的分類標簽組成的訓練樣本，通過預設機器學習算法，訓練用于對網頁數據進行分類的分類模型。

8.一種基于分類模型對網頁數據進行分類的裝置，其中，所述分類模型如權利要求1-5中任一項所述的分類模型，包括：

獲取單元，用于從待預測網頁數據中獲取預測樣本數據，所述預測樣本數據包括待預測網頁數據的網頁內容和路徑信息；

生成單元，用于至少基于網頁內容和路徑信息，按照分類模型的訓練樣本數據的特征生成方式來生成所述預測樣本數據的特征；以及

預測單元，用于利用所述分類模型，基于由所述預測樣本數據的特征組成的預測樣本，提供對待預測網頁數據進行分類的預測結果。

9.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1到6中的任一權利要求所述的方法。

10.一種存儲指令的計算機可讀存儲介質，其中，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1到6中的任一權利要求所述的方法。