[發(fā)明專利]用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型的訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 201910548164.0
• 申請日: 2019-06-24
• 公開（公告）號: CN112131445A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 胡單;陳偉
• 申請（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06K9/62
• 代理公司: 北京鼎佳達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 劉鐵生;孟阿妮

本發(fā)明公開了一種對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型的訓(xùn)練方法及裝置，包括：從網(wǎng)頁中對應(yīng)不同路徑的網(wǎng)頁數(shù)據(jù)中獲取訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)包括網(wǎng)頁數(shù)據(jù)的網(wǎng)頁內(nèi)容和路徑信息；獲取關(guān)于所述訓(xùn)練樣本數(shù)據(jù)的真實分類結(jié)果的分類標(biāo)簽；至少基于網(wǎng)頁內(nèi)容和路徑信息來生成所述訓(xùn)練樣本數(shù)據(jù)的特征；基于由所述訓(xùn)練樣本數(shù)據(jù)的特征以及訓(xùn)練樣本數(shù)據(jù)的分類標(biāo)簽組成的訓(xùn)練樣本，通過預(yù)設(shè)機器學(xué)習(xí)算法，訓(xùn)練用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型。本發(fā)明用于在網(wǎng)頁數(shù)據(jù)進(jìn)行分類時的分類模型的訓(xùn)練過程。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型的訓(xùn)練方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，網(wǎng)絡(luò)中的數(shù)據(jù)量已大大增加。為了進(jìn)行數(shù)據(jù)的分析和研究，對網(wǎng)頁中數(shù)據(jù)進(jìn)行分類已變得越發(fā)重要。一般情況下，在獲取數(shù)據(jù)時需要確定需獲取數(shù)據(jù)的位置，例如，確定網(wǎng)頁中每一條數(shù)據(jù)的路徑信息作為獲取網(wǎng)頁數(shù)據(jù)的依據(jù)。例如，基于機器學(xué)習(xí)的興起，結(jié)合機器學(xué)習(xí)的網(wǎng)頁數(shù)據(jù)挖掘方法也逐步廣泛。在基于機器學(xué)習(xí)的網(wǎng)頁數(shù)據(jù)挖掘過程中，一般需要對樣本數(shù)據(jù)的位置進(jìn)行標(biāo)注從而訓(xùn)練對應(yīng)的模型，其中該標(biāo)注方式是通過對該樣本數(shù)據(jù)的位置添加用以表征其位置的數(shù)組進(jìn)行的。例如，樣本數(shù)據(jù)A的標(biāo)注方式是為其添加[1,2,6,3,1,2,1,3,2,2,1]數(shù)組。其中，數(shù)組中第一位的1表示為整個頁面代碼中最外面的第一層標(biāo)簽，即為html；第二位的2表示在上一層的html標(biāo)簽下的第二個標(biāo)簽body；第三位的6表示在上一層body標(biāo)簽下的第6個標(biāo)簽，即為div，以此類推。

然而，在實際應(yīng)用中，這種基于位置數(shù)組為數(shù)據(jù)進(jìn)行標(biāo)注的方式，會導(dǎo)致分類模型訓(xùn)練的過程中存在較大難度，譬如當(dāng)網(wǎng)頁的數(shù)據(jù)內(nèi)容較多、數(shù)據(jù)的位置層級較多、位置結(jié)構(gòu)較為復(fù)雜時，其位置數(shù)組內(nèi)的內(nèi)容也大幅度增加，從而導(dǎo)致維度擴展極大，這樣就導(dǎo)致模型的訓(xùn)練過程中增加了機器學(xué)習(xí)的難度，整體上增加了網(wǎng)頁數(shù)據(jù)分類過程中的難度。另外，基于其訓(xùn)練過程中僅包含位置特征，這就使所訓(xùn)練的模型在網(wǎng)頁結(jié)構(gòu)變化較大時，模型判斷的準(zhǔn)確性降低，從而使得基于該模型的網(wǎng)頁數(shù)據(jù)的分類結(jié)果的準(zhǔn)確性也隨之降低。由此，如何實現(xiàn)一種能夠簡化訓(xùn)練過程并提高模型的準(zhǔn)確性的網(wǎng)頁數(shù)據(jù)分類方法，已成為領(lǐng)域中亟待解決的問題。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明提出了一種用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型的訓(xùn)練方法及裝置，主要目的在于在對網(wǎng)頁數(shù)據(jù)分類時簡化分類模型的訓(xùn)練過程的同時提高模型的準(zhǔn)確性。

為達(dá)到上述目的，本發(fā)明主要提供如下技術(shù)方案：

第一方面，本發(fā)明提供用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型的訓(xùn)練方法，具體包括：

從網(wǎng)頁中對應(yīng)不同路徑的網(wǎng)頁數(shù)據(jù)中獲取訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)包括網(wǎng)頁數(shù)據(jù)的網(wǎng)頁內(nèi)容和路徑信息；

獲取關(guān)于所述訓(xùn)練樣本數(shù)據(jù)的真實分類結(jié)果的分類標(biāo)簽；

至少基于網(wǎng)頁內(nèi)容和路徑信息來生成所述訓(xùn)練樣本數(shù)據(jù)的特征；以及

基于由所述訓(xùn)練樣本數(shù)據(jù)的特征以及訓(xùn)練樣本數(shù)據(jù)的分類標(biāo)簽組成的訓(xùn)練樣本，通過預(yù)設(shè)機器學(xué)習(xí)算法，訓(xùn)練用于對網(wǎng)頁數(shù)據(jù)進(jìn)行分類的分類模型。

可選的，所述至少基于網(wǎng)頁內(nèi)容和路徑信息來生成所述訓(xùn)練樣本數(shù)據(jù)的特征，包括：基于網(wǎng)頁內(nèi)容生成訓(xùn)練樣本數(shù)據(jù)的內(nèi)容特征，并基于路徑信息生成訓(xùn)練樣本的結(jié)構(gòu)特征。

可選的，所述至少基于網(wǎng)頁內(nèi)容和路徑信息來生成所述訓(xùn)練樣本數(shù)據(jù)的特征，還包括：

基于所述訓(xùn)練樣本數(shù)據(jù)的路徑信息與預(yù)設(shè)標(biāo)準(zhǔn)路徑之間的差異來生成訓(xùn)練樣本的路徑相似度特征，所述預(yù)設(shè)標(biāo)準(zhǔn)路徑對應(yīng)所述網(wǎng)頁數(shù)據(jù)所屬網(wǎng)站中特定網(wǎng)頁數(shù)據(jù)的路徑；

可選的，所述從網(wǎng)頁中對應(yīng)不同路徑的網(wǎng)頁數(shù)據(jù)中獲取訓(xùn)練樣本數(shù)據(jù)包括：

在各個網(wǎng)頁中，分別通過遍歷全部路徑的網(wǎng)頁數(shù)據(jù)來分別獲取對應(yīng)網(wǎng)頁數(shù)據(jù)的網(wǎng)頁內(nèi)容和路徑信息，作為所述訓(xùn)練樣本數(shù)據(jù)。