[發明專利]一種網頁信息抽取方法及裝置

有效

• 申請號: 201711458949.6
• 申請日: 2017-12-28
• 公開（公告）號: CN110110198B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 梁俊;蔣忠強;全兵;胡小克;巴偉
• 申請（專利權）人: 中移（蘇州）軟件技術有限公司;中國移動通信集團公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/951;G06F40/143;G06F40/146;G06N5/02
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

1.一種網頁信息抽取方法，其特征在于，包括：

獲取網頁的文檔對象模型DOM樹和所述網頁的展示頁面截圖；

根據所述網頁的DOM樹確定所述網頁的候選元素以及候選元素的文本信息；

根據所述網頁的展示頁面截圖確定所述網頁的候選位置信息；

根據各候選位置信息、各候選元素的文本信息確定所述網頁的各候選元素作為目標抽取元素的第一概率；

根據各候選位置信息確定所述網頁的各候選位置作為目標抽取元素對應的目標抽取位置的第二概率；

根據所述第一概率和所述第二概率從各候選元素和各候選位置中確定目標抽取元素和所述目標抽取元素對應的目標抽取位置；

根據確定為目標抽取元素的候選元素和確定為所述目標抽取元素對應的目標抽取位置的候選位置對所述網頁進行信息抽取。

2.如權利要求1所述的方法，其特征在于，所述根據各候選位置信息、各候選元素的文本信息確定所述網頁的各候選元素作為目標抽取元素的第一概率，包括：

將各候選位置信息、各候選元素的文本信息輸入神經網絡模型；

通過所述神經網絡模型預測輸出各候選元素作為目標抽取元素的第一概率。

3.如權利要求1所述的方法，其特征在于，所述根據各候選位置信息確定所述網頁的各候選位置作為目標抽取元素對應的目標抽取位置的第二概率，包括：

將各候選位置信息輸入目標抽取元素對應的空間概率分布模型；

通過所述空間概率分布模型預測輸出各候選位置作為目標抽取元素對應的目標抽取位置的第二概率。

4.如權利要求1所述的方法，其特征在于，所述根據所述第一概率和所述第二概率從各候選元素和各候選位置中確定目標抽取元素和所述目標抽取元素對應的目標抽取位置，包括：

將各候選元素中第一概率滿足第一預設條件的候選元素確定為所述目標抽取元素；

將各候選位置中第二概率滿足第二預設條件的候選位置確定為所述目標抽取元素對應的目標抽取位置。

5.如權利要求1所述的方法，其特征在于，所述根據所述第一概率和所述第二概率從各候選元素和各候選位置中確定目標抽取元素和所述目標抽取元素對應的目標抽取位置，包括：

根據所述第一概率和所述第二概率確定各候選元素和各候選位置的關聯概率；

將滿足第三預設條件的關聯概率對應的候選元素和候選位置確定為目標抽取元素和所述目標抽取元素對應的目標抽取位置。

6.如權利要求1所述的方法，其特征在于，所述根據所述網頁的DOM樹確定所述網頁的候選元素以及候選元素的文本信息，包括：

將所述DOM樹中葉節點的上一層節點確定為所述網頁的候選元素；

針對任意一個候選元素，根據所述候選元素在DOM樹中位置對所述候選元素的內容進行文本編碼，確定所述候選元素的文本信息。

7.一種網頁信息抽取裝置，其特征在于，包括：

獲取模塊，用于獲取網頁的文檔對象模型DOM樹和所述網頁的展示頁面截圖；

處理模塊，用于根據所述網頁的DOM樹確定所述網頁的候選元素以及候選元素的文本信息；根據所述網頁的展示頁面截圖確定所述網頁的候選位置信息；根據各候選位置信息、各候選元素的文本信息確定所述網頁的各候選元素作為目標抽取元素的第一概率；根據各候選位置信息確定所述網頁的各候選位置作為目標抽取元素對應的目標抽取位置的第二概率；根據所述第一概率和所述第二概率從各候選元素和各候選位置中確定目標抽取元素和所述目標抽取元素對應的目標抽取位置；根據確定為目標抽取元素的候選元素和確定為所述目標抽取元素對應的目標抽取位置的候選位置對所述網頁進行信息抽取。

8.如權利要求7所述的裝置，其特征在于，所述處理模塊具體用于：

將各候選位置信息、各候選元素的文本信息輸入神經網絡模型；

通過所述神經網絡模型預測輸出各候選元素作為目標抽取元素的第一概率。