[發明專利]生成數據采集腳本的方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110770812.4
• 申請日: 2021-07-07
• 公開（公告）號: CN113687831A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 陳家銀;潘帥;張偉;陳曦;麻志毅
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F16/906;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 谷波

1.一種生成數據采集腳本的方法，其特征在于，所述方法包括：

針對目標站點的網頁數據，分別獲取所述網頁數據每個節點包含的文本信息；

根據所述網頁數據中各種標簽的多維度特征生成每個標簽的特征統計信息；

基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述網頁數據進行解析，識別待采集數據的路徑，并生成所述目標站點的數據采集腳本。

2.根據權利要求1所述的方法，其特征在于，所述基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述網頁數據進行解析，識別待采集數據的路徑，并生成所述目標站點的數據采集腳本，包括：

層級遍歷所述網頁數據的每個節點，并基于每個節點的文本信息依次形成各節點對應的文本表征向量；

依次對所述文本表征向量進行卷積和池化操作，形成新文本表征向量；

基于每個標簽的所述特征統計信息，形成標簽統計向量，并將所述新文本表征向量和所述標簽統計向量進行拼接，得到拼接向量；

將所述拼接向量依次連接全連接層和輸出層，以識別待采集數據的路徑，并生成所述目標站點的數據采集腳本。

3.根據權利要求1所述的方法，其特征在于，所述基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述每個節點包含的文本進行解析，并生成數據采集腳本之前，還包括：

基于站點類型相同的多個已解析網頁數據，獲取所述已解析網頁數據的已解析信息和特征統計信息，并通過所述已解析信息和所述特征統計信息訓練并生成所述解析模型；所述已解析信息至少包括Xpath路徑和站點信息。

4.根據權利要求3所述的方法，其特征在于，所述基于站點類型相同的多個已解析網頁數據，獲取所述已解析網頁數據的已解析信息和特征統計信息，并通過所述已解析信息和所述特征統計信息訓練并生成所述解析模型，包括：

層級遍歷該站點類型相同的每個已解析網頁數據的每個節點，獲取所述已解析網頁數據各節點的已解析信息，并基于所有已解析信息形成訓練數據集；

根據站點類型相同的多個已解析網頁數據中各種標簽的多維度特征，生成每個標簽的特征統計訓練向量；

通過所述訓練數據集和所述特征統計訓練向量訓練并生成所述解析模型。

5.根據權利要求4所述的方法，其特征在于，所述基于所有已解析信息形成訓練數據集，包括：

基于所有已解析信息，按照是否包含所需信息對各個節點對應的文本信息進行標注，基于所述標注后的文本信息生成訓練數據集。

6.根據權利要求4所述的方法，其特征在于，所述按照是否包含所需信息對各個節點對應的文本信息進行標注，包括：

對于各個節點，若所述節點的子節點包含所需信息，則對所述子節點的文本信息進行第一標注，對所述節點的文本信息進行第二標注；若所述節點不包含所需信息，則對所述節點的文本信息進行第三標注；且所述第一標注用于使所述解析模型停止遍歷所述網頁數據的節點。

7.根據權利要求1所述的方法，其特征在于，所述多維度特征至少包括標簽數量、標簽密度、文本密度以及權重信息。

8.一種生成數據采集腳本的裝置，其特征在于，所述裝置包括：

文本模塊，用于針對目標站點的網頁數據，分別獲取所述網頁數據每個節點包含的文本信息；

標簽模塊，用于根據所述網頁數據中各種標簽的多維度特征生成每個標簽的特征統計信息；

腳本模塊，用于基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述網頁數據進行解析，識別待采集數據的路徑，并生成所述目標站點的數據采集腳本。

9.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器運行所述計算機程序以實現如權利要求1-7任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行實現如權利要求1-7中任一項所述的方法。