[發明專利]一種數據爬取方法及裝置

有效

• 申請號: 202010105861.1
• 申請日: 2020-02-20
• 公開（公告）號: CN111259224B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 鐘琴隆;杜志誠;杜明本;于文才;馬強;劉霞;王冬冬;李春勇
• 申請（專利權）人: 山東旗幟信息有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F11/36
• 代理公司: 濟南千慧專利事務所(普通合伙企業) 37232
• 代理人: 趙長林

一種數據爬取方法及裝置，包括如下步驟：爬取數據；從爬取到的數據中找到并定位錯誤數據的位置以及定位錯誤數據對應的代碼位置并找到加密代碼；從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，得到經修正之后的正確數據。本申請通過對數據對應出處的代碼進行分析得到其原始數據，并通過對錯誤數據的來源進行代碼分析得到密鑰，繼而得出正確數據。

技術領域

本申請涉及一種數據爬取方法及裝置。

背景技術

網絡爬蟲(又稱為網頁蜘蛛，網絡機器人)，是一種按照一定的規則，自動地抓取網絡中信息的程序或者腳本。

現在有很多網站為了防止自身的響應速度減慢以及資源占用的問題，會杜絕一些爬蟲獲取信息。可以直接通過請求屏蔽的方式來達到該種目的，但是有時候由于并不希望完全屏蔽，只是希望部分關鍵信息不被爬取，此時可以采用關鍵信息圖片化的方式，但是圖片化的方式相對較為容易通過OCR的方式進行破解，于是出現了一些通過加密的方式來避免重要數據被爬取的方法，此種方法的出現大大的降低了數據爬取的工作效率以及準確率。

發明內容

為了解決上述問題，本申請一方面提供了一種數據爬取方法，包括如下步驟：爬取數據；從爬取到的數據中找到并定位錯誤數據的位置以及定位錯誤數據對應的代碼位置并找到加密代碼；從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，得到經修正之后的正確數據。本申請通過對數據對應出處的代碼進行分析得到其原始數據，并通過對錯誤數據的來源進行代碼分析得到密鑰，繼而得出正確數據。需要說明的是，本申請包含兩種技術方案，一種是從最終數據中發現錯誤，然后反向追尋找到犯錯的位置；另外一種是從原始代碼中確定一些可能存在錯誤的位置，在獲取數據過程中即進行修正，最終得到的數據即為正確的數據。

優選的，所述加密代碼為前端代碼。前端代碼是指的處在內容代碼之前的代碼，一般是為了標識、索引等功能，在反爬蟲過程中，前端代碼經常被用來進行加密操作。

優選的，定位錯誤數據的方法按照如下方式進行：爬取數據過程中定位數據的前端代碼，對于具有前端代碼的數據進行定位。

優選的，具有前端代碼的數據為錯誤數據。本申請通過對于前端代碼的篩選來篩選被加密處理過的數據，繼而在帶有數據的代碼的處理過程中就進行反向破譯，從而得到正確數據。

優選的，所述密鑰為爬取到的數據的正確排列方式。

優選的，所述數據修正按照如下方式進行：將錯誤數據進行切片，然后利用密鑰對于切片進行重新排序得到正確數據。

優選的，所述正確數據利用錯誤數據的前端代碼確定的位置放入到指定位置。

優選的，所述前端代碼為標簽內class值的數字。

優選的，所述加密方法為多種JS類型的混淆加密方式。

另一方面，本申請提供了一種數據爬取裝置，包括如下模塊：

數據獲取模塊，爬取數據；

定位模塊，從爬取到的數據中找到并定位錯誤數據的位置以及定位錯誤數據對應的代碼位置并找到加密代碼；

修正模塊，從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，得到經修正之后的正確數據。

本申請能夠帶來如下有益效果：本申請通過對數據對應出處的代碼進行分析得到其原始數據，并通過對錯誤數據的來源進行代碼分析得到密鑰，繼而得出正確數據。需要說明的是，本申請包含兩種技術方案，一種是從最終數據中發現錯誤，然后反向追尋找到犯錯的位置；另外一種是從原始代碼中確定一些可能存在錯誤的位置，在獲取數據過程中即進行修正，最終得到的數據即為正確的數據。

附圖說明