[發明專利]動態圖表類頁面數據爬取方法、裝置、終端及存儲介質

有效

• 申請號: 201810349975.3
• 申請日: 2018-04-18
• 公開（公告）號: CN108595583B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 阮曉雯;徐亮;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/583;G06V40/16
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華

1.一種動態圖表類頁面數據爬取方法，其特征在于，所述方法包括：

a）采用自動化測試工具啟動瀏覽器，輸入待爬取數據的網站的鏈接；

b）從所述待爬取數據的網站中爬取與用戶輸入的爬取關鍵詞相關的頁面信息；

c）對爬取到的頁面進行渲染并解析；

d）通過所述自動化測試工具判斷解析后的頁面中是否存在圖表，當確定解析后的頁面中不存在圖表時，爬取解析后的頁面中的信息，并根據預先設置的數據格式保存爬取到的信息，當確定解析后的頁面中存在圖表時，通過所述自動化測試工具的驅動程序指示所述瀏覽器在內核中對所述解析后的頁面中的圖表進行截圖得到截圖圖片；

e）根據預先訓練的圖片識別模型對所述截圖圖片進行識別，得到所述截圖圖片中的內容；

f）判斷所述待爬取數據的網站及對應所述爬取關鍵詞的頁面是否已遍歷完；及

當確定所述待爬取數據的網站及對應所述爬取關鍵詞的頁面都已被遍歷過，則結束流程；或者

當確定所述待爬取數據的網站及對應所述爬取關鍵詞的頁面未被遍歷完，則繼續執行上述b）至f）。

2.如權利要求1所述的方法，其特征在于，所述通過所述自動化測試工具對解析后的頁面進行截圖得到截圖圖片并保存所述截圖圖片包括：

計算所述截圖圖片的感知哈希值；

判斷所述截圖圖片的感知哈希值與已截圖圖片的感知哈希值之間的相似度是否大于預先設置的相似度閾值；

當確定所述截圖圖片的感知哈希值與已截圖圖片的感知哈希值之間的相似度大于預先設置的相似度閾值時，刪除所述截圖圖片。

3.如權利要求2所述的方法，其特征在于，所述通過所述自動化測試工具對解析后的頁面進行截圖得到截圖圖片并保存所述截圖圖片還包括：

當確定所述截圖圖片的感知哈希值與已截圖圖片的感知哈希值之間的相似度小于或者等于預先設置的相似度閾值時，將所述截圖圖片及對應的解析后的頁面進行關聯存儲于預先設置的特定的位置。

4.如權利要求1所述的方法，其特征在于，所述預先訓練的圖片識別模型的訓練過程包括：

獲取多張圖片；

對所述多張圖片進行預處理，得到待參與訓練圖片識別模型的數據集；

采用交叉驗證的方法對所述數據集進行劃分為訓練集及測試集；

在所述訓練集中隨機選擇第一預設數量的訓練集訓練圖片識別模型；

利用所述測試集測試所訓練的圖片識別模型的準確率；

若所述準確率大于或者等于預設準確率閾值，則訓練結束；

若所述準確率小于所述預設準確率閾值，則重新訓練圖片識別模型。

5.如權利要求4所述的方法，其特征在于，所述重新訓練圖片識別模型包括：

從所述訓練集中除所述第一預設數量的訓練集之外的訓練集中，增加第二預設數量的訓練集至所述第一預設數量的訓練集中，直至所訓練的圖片識別模型的準確率大于或者等于所述預設準確率閾值。

6.如權利要求5所述的方法，其特征在于，所述第二預設數量為預先設置的固定值，或者預先設置的比例值，或者所述第一預設數量的預設比例值。

7.一種動態圖表類頁面數據爬取裝置，其特征在于，所述裝置包括：

啟動模塊，用于采用自動化測試工具啟動瀏覽器，輸入待爬取數據的網站的鏈接；

爬取模塊，用于從所述待爬取數據的網站中爬取與用戶輸入的爬取關鍵詞相關的頁面信息；

解析模塊，用于對爬取到的頁面進行渲染并解析；

截圖模塊，用于通過所述自動化測試工具判斷解析后的頁面中是否存在圖表，當確定解析后的頁面中不存在圖表時，爬取解析后的頁面中的信息，并根據預先設置的數據格式保存爬取到的信息，當確定解析后的頁面中存在圖表時，通過所述自動化測試工具的驅動程序指示所述瀏覽器在內核中對所述解析后的頁面中的圖表進行截圖得到截圖圖片；

識別模塊，用于根據預先訓練的圖片識別模型對所述截圖圖片進行識別，得到所述截圖圖片中的內容。