[發(fā)明專利]頁面內(nèi)容提取方法、模板的生成方法及裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201811303366.0
• 申請日: 2018-11-02
• 公開（公告）號: CN109582886B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 張文豪
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955
• 代理公司: 北京天達(dá)共和律師事務(wù)所 11798
• 代理人: 向偉;李園

本公開涉及一種頁面內(nèi)容提取方法、模板的生成方法及裝置、介質(zhì)及設(shè)備。所述方法包括：根據(jù)頁面URL對多個頁面進(jìn)行分組，其中，每個頁面分組分別對應(yīng)于一種頁面結(jié)構(gòu)；針對每一頁面分組，生成當(dāng)前頁面分組下的各個頁面對應(yīng)的dom樹；針對每一頁面分組，根據(jù)當(dāng)前頁面分組下的各個dom樹，確定能夠代表當(dāng)前頁面分組對應(yīng)的頁面結(jié)構(gòu)的第一特征路徑，并至少根據(jù)第一特征路徑，生成與當(dāng)前頁面分組對應(yīng)的頁面內(nèi)容提取模板。因此，既可以有效保證所獲得的頁面內(nèi)容提取模板的適用性，又可以有效提高頁面內(nèi)容提取模板的準(zhǔn)確性。另外，便于根據(jù)不同頁面結(jié)構(gòu)的頁面生成不同的頁面內(nèi)容提取模板，有效保證基于頁面內(nèi)容提取模板進(jìn)行頁面內(nèi)容提取的準(zhǔn)確度。

技術(shù)領(lǐng)域

本公開涉及頁面內(nèi)容抓取領(lǐng)域，具體地，涉及一種頁面內(nèi)容提取方法、模板的生成方法及裝置、介質(zhì)及設(shè)備。

背景技術(shù)

對網(wǎng)頁信息進(jìn)行抽取時，一般都需要確定出網(wǎng)頁的布局結(jié)構(gòu)，進(jìn)而對頁面內(nèi)容進(jìn)行抽取。在常見的機器學(xué)習(xí)進(jìn)行頁面內(nèi)容抽取的方法中，無論是采用無監(jiān)督的學(xué)習(xí)方式還是有監(jiān)督的學(xué)習(xí)方式，都是對大量網(wǎng)頁樣本進(jìn)行學(xué)習(xí)，而不同的地區(qū)、不同領(lǐng)域、甚至不同網(wǎng)站之間的網(wǎng)頁布局都可能不相同，因此，通過機器學(xué)習(xí)的方式在確定其網(wǎng)頁布局的準(zhǔn)確率較低、進(jìn)而影響網(wǎng)頁信息抽取的準(zhǔn)確率。

發(fā)明內(nèi)容

本公開的目的是提供一種頁面內(nèi)容提取方法、模板的生成方法及裝置、介質(zhì)及設(shè)備。

為了實現(xiàn)上述目的，根據(jù)本公開的第一方面，提供一種頁面內(nèi)容提取模板的生成方法，所述方法包括：

根據(jù)頁面URL對多個頁面進(jìn)行分組，其中，每個頁面分組分別對應(yīng)于一種頁面結(jié)構(gòu)；

針對每一頁面分組，生成當(dāng)前頁面分組下的各個頁面對應(yīng)的dom樹；

針對每一頁面分組，根據(jù)當(dāng)前頁面分組下的各個dom樹，確定能夠代表當(dāng)前頁面分組對應(yīng)的頁面結(jié)構(gòu)的第一特征路徑，并至少根據(jù)所述第一特征路徑，生成與當(dāng)前頁面分組對應(yīng)的頁面內(nèi)容提取模板。

可選地，所述根據(jù)當(dāng)前頁面分組下的各個dom樹，確定能夠代表當(dāng)前頁面分組對應(yīng)的頁面結(jié)構(gòu)的第一特征路徑，包括以下中的至少一者：

將在不同dom樹中具有相同文本和路徑的節(jié)點分為一組，當(dāng)該組節(jié)點中的節(jié)點數(shù)量與當(dāng)前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點中的每個節(jié)點在所屬dom樹中的路徑進(jìn)行合并，獲得所述第一特征路徑；

將在所屬dom樹中只出現(xiàn)一次，且在不同dom樹中具有相同標(biāo)簽屬性和路徑的節(jié)點分為一組，當(dāng)該組節(jié)點中的節(jié)點數(shù)量與當(dāng)前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點中的每個節(jié)點在所屬dom樹中的路徑進(jìn)行合并，獲得所述第一特征路徑；

將在所屬dom樹中只出現(xiàn)一次，且在不同dom樹中具有相同標(biāo)簽屬性和路徑的節(jié)點子網(wǎng)分為一組，當(dāng)該組節(jié)點子網(wǎng)中的節(jié)點子網(wǎng)數(shù)量與當(dāng)前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點子網(wǎng)中的每個節(jié)點子網(wǎng)在所屬dom樹中的路徑進(jìn)行合并，獲得所述第一特征路徑。

可選地，在確定出所述第一特征路徑之后，所述方法還包括：

將所述第一特征路徑上的至少一個節(jié)點分別作為目標(biāo)節(jié)點，執(zhí)行如下操作：

確定當(dāng)前頁面分組下包括該目標(biāo)節(jié)點且該目標(biāo)節(jié)點在其中具有子節(jié)點的dom樹為目標(biāo)dom樹；

當(dāng)所述目標(biāo)dom樹為多個時，從多個所述目標(biāo)dom樹中的各條候選路徑中，根據(jù)候選路徑的子節(jié)點之間的相似度參數(shù)，確定能夠被合并的候選路徑，并對確定出的能夠被合并的候選路徑進(jìn)行合并，獲得第二特征路徑，其中，所述候選路徑為所述目標(biāo)dom樹中，所述目標(biāo)節(jié)點與該目標(biāo)節(jié)點的一個子節(jié)點形成的路徑；

所述至少根據(jù)所述第一特征路徑，生成與當(dāng)前頁面分組對應(yīng)的頁面內(nèi)容提取模板，包括：