[發明專利]一種數據爬取方法及裝置有效
| 申請號： | 202010105861.1 | 申請日： | 2020-02-20 |
| 公開（公告）號： | CN111259224B | 公開（公告）日： | 2023-02-21 |
| 發明（設計）人： | 鐘琴隆;杜志誠;杜明本;于文才;馬強;劉霞;王冬冬;李春勇 | 申請（專利權）人： | 山東旗幟信息有限公司 |
| 主分類號： | G06F16/951 | 分類號： | G06F16/951;G06F11/36 |
| 代理公司： | 濟南千慧專利事務所(普通合伙企業) 37232 | 代理人： | 趙長林 |
| 地址： | 250000 山東省濟南市高新*** | 國省代碼： | 山東;37 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 數據 方法 裝置 | ||
1.一種數據爬取方法，其特征在于：包括如下步驟：
爬取數據；
從爬取到的數據中找到并定位錯誤數據的位置以及定位錯誤數據對應的代碼位置并找到加密代碼；所述加密代碼為前端代碼；所述前端代碼為標簽內class值的數字；
從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，得到經修正之后的正確數據；
定位錯誤數據的方法按照如下方式進行：爬取數據過程中，使用正則匹配進行數據抽取，以定位數據的前端代碼；對抽取得到的中間數據進行過濾，以定位錯誤數據；所述錯誤數據為具有前端代碼的數據；
所述從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，按照如下方式進行：通過對所述加密代碼進行反向解密，得到所述加密代碼對應的密鑰以及無序數據；所述密鑰為爬取到數據的正確排列方式；
通過將所述錯誤數據進行切片，以得到所述錯誤數據對應的加密序號；然后利用密鑰對所述加密序號以及所述無序數據進行重新排序，以得到正確數據。
2.根據權利要求1所述的一種數據爬取方法，其特征在于：所述正確數據利用錯誤數據的前端代碼確定的位置放入到指定位置。
3.根據權利要求1所述的一種數據爬取方法，其特征在于：所述加密方法為多種JS類型的混淆加密方式。
4.一種數據爬取裝置，其特征在于：包括如下模塊：
數據獲取模塊，爬取數據；
定位模塊，從爬取到的數據中找到并定位錯誤數據的位置以及定位錯誤數據對應的代碼位置并找到加密代碼；所述加密代碼為前端代碼；所述前端代碼為標簽內class值的數字；
修正模塊，從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，得到經修正之后的正確數據；
定位錯誤數據的方法按照如下方式進行：爬取數據過程中，使用正則匹配進行數據抽取，以定位數據的前端代碼；對抽取得到的中間數據進行過濾，以定位錯誤數據；所述錯誤數據為具有前端代碼的數據；
所述從加密代碼得到密鑰并結合錯誤數據對應的代碼進行數據修正，按照如下方式進行：通過對所述加密代碼進行反向解密，得到所述加密代碼對應的密鑰以及無序數據；所述密鑰為爬取到數據的正確排列方式；
通過將所述錯誤數據進行切片，以得到所述錯誤數據對應的加密序號；然后利用密鑰對所述加密序號以及所述無序數據進行重新排序，以得到正確數據。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于山東旗幟信息有限公司，未經山東旗幟信息有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010105861.1/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
