[發(fā)明專利]頁面內(nèi)容提取方法、模板的生成方法及裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201811303366.0
• 申請日: 2018-11-02
• 公開（公告）號: CN109582886B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 張文豪
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955
• 代理公司: 北京天達共和律師事務(wù)所 11798
• 代理人: 向偉;李園

1.一種頁面內(nèi)容提取模板的生成方法，其特征在于，所述方法包括：

根據(jù)頁面URL對多個頁面進行分組，其中，每個頁面分組分別對應(yīng)于一種頁面結(jié)構(gòu)；

針對每一頁面分組，生成當前頁面分組下的各個頁面對應(yīng)的dom樹；

針對每一頁面分組，根據(jù)當前頁面分組下的各個dom樹，確定能夠代表當前頁面分組對應(yīng)的頁面結(jié)構(gòu)的第一特征路徑，并至少根據(jù)所述第一特征路徑，生成與當前頁面分組對應(yīng)的頁面內(nèi)容提取模板；

其中，在確定出所述第一特征路徑之后，所述方法還包括：

將所述第一特征路徑上的至少一個節(jié)點分別作為目標節(jié)點，執(zhí)行如下操作：

確定當前頁面分組下包括該目標節(jié)點且該目標節(jié)點在其中具有子節(jié)點的dom樹為目標dom樹；

當所述目標dom樹為多個時，從多個所述目標dom樹中的各條候選路徑中，根據(jù)候選路徑的子節(jié)點之間的相似度參數(shù)，確定能夠被合并的候選路徑，并對確定出的能夠被合并的候選路徑進行合并，獲得第二特征路徑，其中，所述候選路徑為所述目標dom樹中，所述目標節(jié)點與該目標節(jié)點的一個子節(jié)點形成的路徑；

所述至少根據(jù)所述第一特征路徑，生成與當前頁面分組對應(yīng)的頁面內(nèi)容提取模板，包括：

根據(jù)所述第一特征路徑和所述第二特征路徑，生成與當前頁面分組對應(yīng)的頁面內(nèi)容提取模板；

其中，在所述至少根據(jù)所述第一特征路徑，生成與當前頁面分組對應(yīng)的頁面內(nèi)容提取模板的步驟之后，所述方法還包括：

獲取校驗頁面集合；

將在所述校驗頁面集合下的各個頁面中均出現(xiàn)的節(jié)點確定為校驗節(jié)點；

獲取校驗節(jié)點集合，所述校驗節(jié)點集合包括至少一個所述校驗節(jié)點；

在確定除當前頁面分組之外的其他頁面分組下的各頁面中都不包含所述校驗節(jié)點集合時，將所述校驗節(jié)點集合確定為當前頁面分組對應(yīng)的關(guān)鍵節(jié)點，其中，所述關(guān)鍵節(jié)點用于唯一表示當前頁面分組對應(yīng)的頁面內(nèi)容提取模板。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)當前頁面分組下的各個dom樹，確定能夠代表當前頁面分組對應(yīng)的頁面結(jié)構(gòu)的第一特征路徑，包括以下中的至少一者：

將在不同dom樹中具有相同文本和路徑的節(jié)點分為一組，當該組節(jié)點中的節(jié)點數(shù)量與當前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點中的每個節(jié)點在所屬dom樹中的路徑進行合并，獲得所述第一特征路徑；

將在所屬dom樹中只出現(xiàn)一次，且在不同dom樹中具有相同標簽屬性和路徑的節(jié)點分為一組，當該組節(jié)點中的節(jié)點數(shù)量與當前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點中的每個節(jié)點在所屬dom樹中的路徑進行合并，獲得所述第一特征路徑；

將在所屬dom樹中只出現(xiàn)一次，且在不同dom樹中具有相同標簽屬性和路徑的節(jié)點子網(wǎng)分為一組，當該組節(jié)點子網(wǎng)中的節(jié)點子網(wǎng)數(shù)量與當前頁面分組下的dom樹總數(shù)的比值超過第一閾值時，將該組節(jié)點子網(wǎng)中的每個節(jié)點子網(wǎng)在所屬dom樹中的路徑進行合并，獲得所述第一特征路徑。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，當兩條或更多條候選路徑的子節(jié)點之間的相似度參數(shù)表征這些子節(jié)點之間相似時，確定所述兩條或更多條候選路徑能夠被合并。

4.根據(jù)權(quán)利要求1-3中任一項所述的方法，其特征在于，對路徑進行合并具體為對路徑上的同級節(jié)點逐一進行合并，且針對任一級節(jié)點，該級節(jié)點合并所得節(jié)點的路徑表示為該級節(jié)點的路徑表示中，能夠代表最多數(shù)量的同級節(jié)點的路徑表示；以及，若該級節(jié)點為文本型節(jié)點，則該級節(jié)點合并所得節(jié)點的文本為該級節(jié)點的文本的集合。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述校驗頁面集合包括當前頁面分組中除第一頁面之外的頁面，所述第一頁面為其中孤立節(jié)點占該頁面節(jié)點總數(shù)的比例超過第二閾值的頁面，所述孤立節(jié)點包括第一節(jié)點和第二節(jié)點，所述第一節(jié)點為頁面中未與當前頁面分組下的其他頁面中的節(jié)點進行過路徑合并的節(jié)點，所述第二節(jié)點為頁面中與當前頁面分組下的其他頁面中的節(jié)點進行過路徑合并、但合并節(jié)點總數(shù)與當前頁面分組下的dom樹總數(shù)的比值低于第三閾值的節(jié)點，所述合并節(jié)點總數(shù)為包括該第二節(jié)點和與該第二節(jié)點進行合并的節(jié)點在內(nèi)的節(jié)點的數(shù)量。