[發明專利]網頁結構化數據的抓取方法及系統

有效

• 申請號: 201910515145.8
• 申請日: 2019-06-14
• 公開（公告）號: CN110309394B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 林晨;陳文極;林震宇;徐立宇;林智泓;陳藝輝;陶崢
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;任默聞

1.一種網頁結構化數據的抓取方法，其特征在于，包括：

獲取一列或多列網頁數據；

依次對每列網頁數據執行如下處理：

獲取第一條數據的標簽鏈作為第一標簽鏈；

判斷所述第一標簽鏈中是否存在表格元素；

當所述第一標簽鏈中存在表格元素時：

將所述表格元素所在的標簽層級作為根節點，獲取所述根節點下存在表格元素的全部子標簽以構成標簽合集；

提取所述標簽合集中包括表格文字標簽的文本以組織列結構化數據；

當所述第一標簽鏈中不存在表格元素時：

獲取第二條數據的標簽鏈作為第二標簽鏈；

根據所述第一標簽鏈和所述第二標簽鏈獲取總開頭標簽；

判斷其余每條數據的標簽鏈中是否存在總開頭標簽；當存在總開頭標簽時，將該數據的標簽鏈放入子節點合集中；

提取所述子節點合集中的全部文本標簽以組織列結構化數據；

根據每列網頁數據對應的列結構化數據組成網頁結構化數據。

2.根據權利要求1所述的網頁結構化數據的抓取方法，其特征在于，根據所述第一標簽鏈和所述第二標簽鏈獲取總開頭標簽，包括：

從第一個標簽開始，依次比較第一標簽鏈與第二標簽鏈中相同位置的標簽是否相同，直至第一標簽鏈中其中一位置的標簽與第二標簽鏈中位于該位置的標簽不同；

將所述第一標簽鏈與所述第二標簽鏈中位于相同位置的相同標簽作為總開頭標簽。

3.根據權利要求1所述的網頁結構化數據的抓取方法，其特征在于，

所述表格元素包括：thdad和tboy。

4.根據權利要求1所述的網頁結構化數據的抓取方法，其特征在于，

所述表格文字標簽包括：tr文字標簽和td文字標簽。

5.一種網頁結構化數據的抓取系統，其特征在于，包括：

第一獲取單元，用于獲取一列或多列網頁數據；

第二獲取單元，用于獲取第一條數據的標簽鏈作為第一標簽鏈；

第一判斷單元，用于判斷所述第一標簽鏈中是否存在表格元素；

標簽合集單元，用于將所述表格元素所在的標簽層級作為根節點，獲取所述根節點下存在表格元素的全部子標簽以構成標簽合集；

第一列結構化數據單元，用于提取所述標簽合集中包括表格文字標簽的文本以組織列結構化數據；

第三獲取單元，用于獲取第二條數據的標簽鏈作為第二標簽鏈；

總開頭標簽單元，用于根據所述第一標簽鏈和所述第二標簽鏈獲取總開頭標簽；

第二判斷單元，用于判斷其余每條數據的標簽鏈中是否存在總開頭標簽；

子節點合集單元，用于當存在總開頭標簽時，將該數據的標簽鏈放入子節點合集中；

第二列結構化數據單元，用于提取所述子節點合集中的全部文本標簽以組織列結構化數據；

網頁結構化數據單元，用于根據每列網頁數據對應的列結構化數據組成網頁結構化數據。

6.根據權利要求5所述的網頁結構化數據的抓取系統，其特征在于，所述總開頭標簽單元具體用于

從第一個標簽開始，依次比較第一標簽鏈與第二標簽鏈中相同位置的標簽是否相同，直至第一標簽鏈中其中一位置的標簽與第二標簽鏈中位于該位置的標簽不同；

將所述第一標簽鏈與所述第二標簽鏈中位于相同位置的相同標簽作為總開頭標簽。

7.根據權利要求5所述的網頁結構化數據的抓取系統，其特征在于，

所述表格元素包括：thdad和tboy。

8.根據權利要求5所述的網頁結構化數據的抓取系統，其特征在于，

所述表格文字標簽包括：tr文字標簽和td文字標簽。

9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至4任一項所述的網頁結構化數據的抓取方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至4任一項所述的網頁結構化數據的抓取方法的步驟。