[發明專利]生成數據采集腳本的方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110770812.4
• 申請日: 2021-07-07
• 公開（公告）號: CN113687831A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 陳家銀;潘帥;張偉;陳曦;麻志毅
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F16/906;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 谷波

本申請提出一種生成數據采集腳本的方法、裝置、計算機設備及存儲介質，該生成數據采集腳本的方法包括：針對目標站點的網頁數據，分別獲取網頁數據每個節點包含的文本信息；根據網頁數據中各種標簽的多維度特征生成每個標簽的特征統計信息；基于文本信息和特征統計信息，通過訓練好的解析模型對網頁數據進行解析，識別待采集數據的路徑，并生成目標站點的數據采集腳本。本申請可以通過訓練好的模型自動生成數據采集腳本，節省了大量人力物力，有效提高了網頁數據解析速度。

技術領域

本申請屬于數據采集技術領域，具體涉及一種生成數據采集腳本的方法、裝置、計算機設備及存儲介質。

背景技術

目前，在數據采集任務場景中，通常需要將所需的信息內容從HTML格式的網頁文檔中采集出來。現有的采集方式大致包括兩種：有以下幾類方法：基于模板的采集方式和基于統計的采集方式。

基于模板的采集方式主要是依據HTML文檔內部的結構和內容，利用開源的解析模板，如XPath、Selector CSS、Beautifulsoup等，定位所需內容的路徑，其中最為常見的就是定位其XPath路徑，然后根據定位的XPath路徑生成采集腳本，以用于進行數據采集。基于統計的采集方式主要是統計HTML文檔中的一些特征(如標簽數量、標簽內的文本長度，標簽內的文本密度等)，融合生成一個判別模型，當某個標簽的預測值超過閾值時，就認為該標簽的結構就是所需內容的XPath路徑，然后根據該XPath路徑生成采集腳本，以用于進行數據采集。

但是，上述兩種采集方式都存在很大的缺陷，例如，基于模板的采集方式需要人工逐個的解析所需內容的XPath路徑，當站點數量龐大時，則會消耗大量的人力和時間。此外，當解析過的站點網頁結構發生微小的變化時，原先定位的XPath也可能受到影響，導致維護代價增大，健壯性較差。基于統計的采集方式生成的判別模型過于簡單，導致識別的準確率較低，且難以適應較復雜的采集任務場景。

發明內容

本申請提出一種生成數據采集腳本的方法、裝置、計算機設備及存儲介質，可以通過訓練好的模型自動生成數據采集腳本，節省了大量人力物力，有效提高了網頁數據解析速度。

本申請第一方面實施例提出了一種生成數據采集腳本的方法，所述方法包括：

針對目標站點的網頁數據，分別獲取所述網頁數據每個節點包含的文本信息；

根據所述網頁數據中各種標簽的多維度特征生成每個標簽的特征統計信息；

基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述網頁數據進行解析，識別待采集數據的路徑，并生成所述目標站點的數據采集腳本。

可選地，所述基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述網頁數據進行解析，識別待采集數據的路徑，并生成所述目標站點的數據采集腳本，包括：

層級遍歷所述網頁數據的每個節點，并基于每個節點的文本信息依次形成各節點對應的文本表征向量；

依次對所述文本表征向量進行卷積和池化操作，形成新文本表征向量；

基于每個標簽的所述特征統計信息，形成標簽統計向量，并將所述新文本表征向量和所述標簽統計向量進行拼接，得到拼接向量；

將所述拼接向量依次連接全連接層和輸出層，以識別待采集數據的路徑，并生成所述目標站點的數據采集腳本。

可選地，所述基于所述文本信息和所述特征統計信息，通過訓練好的解析模型對所述每個節點包含的文本進行解析，并生成數據采集腳本之前，還包括：

基于站點類型相同的多個已解析網頁數據，獲取所述已解析網頁數據的已解析信息和特征統計信息，并通過所述已解析信息和所述特征統計信息訓練并生成所述解析模型；所述已解析信息至少包括Xpath路徑和站點信息。