[發明專利]網絡爬蟲請求的獲取方法及裝置

有效

• 申請號: 201410779511.8
• 申請日: 2014-12-15
• 公開（公告）號: CN104408194B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 李慶
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 吳貴明,張永明

技術領域

本發明涉及互聯網領域，具體而言，涉及一種網絡爬蟲請求的獲取方法及裝置。

背景技術

隨著互聯網的快速發展，網絡資源變得越來越豐富，人為的搜索這些信息已經遠遠的不能滿足需求，如何有效地提取并利用這些信息成為一個巨大的挑戰。為了解決信息的有效智能的提取，網絡爬蟲應運而生。網絡爬蟲在獲取特定資源前，首先，構造相應的請求頭信息，以及cookie設置以Post或Get方式向特定的站點發送請求，進而獲取響應資源信息。但是網絡上存在一些站點的資源信息是需要登錄后才能獲取的，甚至有些站點要求在第一次登錄時輸入驗證碼信息，因此，如何以智能化的方式模擬用戶登錄，是網絡爬蟲亟待解決的問題。

對于帶有驗證碼登錄的站點，傳統網絡爬蟲解決該問題的辦法是根據驗證碼的地址，然后下載該地址，存為圖片，然后在發送數據前，人工在代碼里加上驗證碼，根據它來構建請求數據，進而模擬用戶登錄，或者人工在網站輸入登錄及驗證碼信息，通過firebug等工具獲取返回的cookie，在下次發送請求時帶上該cookie信息。

針對現有技術中在處理驗證碼登錄過程中存在人工干預而導致的網絡爬取效率低的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種網絡爬蟲請求的獲取方法及裝置，以在一定程度上解決現有技術中在處理驗證碼登錄過程中存在人工干預而導致的網絡爬取效率低的問題。

為了實現上述目的，根據本發明實施例的一個方面，提供了一種網絡爬蟲請求的獲取方法，包括：獲取待爬蟲的資源信息的驗證碼圖片；對所述驗證碼圖片進行分割和降噪處理，得到多個第一圖片；對各個所述第一圖片進行二值化處理得到各個所述第一圖片的第一矩陣；讀取數據庫中與各個所述第一矩陣對應的第二矩陣；獲取所述第二矩陣所指示的字符，得到驗證碼信息；使用基于所述驗證碼信息和預先獲取的用戶信息生成構造網絡爬蟲請求，其中，所述網絡爬蟲請求用于獲取所述資源信息。

進一步地，對所述驗證碼圖片進行分割和降噪處理，得到多個第一圖片包括：將所述驗證碼圖片按照預設寬度分割得到多個第二圖片；對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片，其中，對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片包括：判斷所述第一像素點的亮度是否大于第一預設閾值；若所述第一像素點的亮度大于所述第一預設閾值，則設置所述第一像素點的灰度值為第一值；若所述第一像素點的亮度不大于所述第一預設閾值，則設置所述第一像素點的灰度值為第二值。

進一步地，對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片之前，所述獲取方法包括：獲取所述第二圖片的高度和寬度；使用所述第二圖片的高度和寬度判斷在所述第二圖片上是否存在下一個第一像素點；若所述第二圖片上存在所述下一個第一像素點，則讀取所述下一個第一像素點的亮度。

進一步地，若所述第一像素點的亮度大于所述第一預設閾值，則設置所述第一像素點的灰度值為第一值包括：若所述第一像素點的亮度大于所述第一預設閾值，則獲取所述第一像素點的第一色度值和第二像素點的第二色度值，其中，所述第一像素點與所述第二像素點的距離小于第二預設閾值；計算各個所述第二色度值與所述第一色度值的差值；統計大于第三預設閾值的所述差值的數量；若所述大于第三預設閾值的所述差值的數量不大于第四預設閾值，則設置所述第一像素點的灰度值為所述第一值；若所述大于第三預設閾值的所述差值的數量大于第四預設閾值，則設置所述第一像素點的灰度值為所述第二值。

進一步地，對各個所述第一圖片進行二值化處理得到各個所述第一圖片的第一矩陣包括：若所述第一圖片的所述第一像素點的灰度值為所述第一值，設置所述第一像素點的二維值為第三值，若所述第一圖片的所述第一像素點的灰度值為所述第二值，設置所述第一像素點的二維值為第四值，得到二維的所述第一矩陣。

進一步地，讀取數據庫中與各個所述第一矩陣對應的第二矩陣包括：計算所述第一矩陣的和值，從所述數據庫中讀取與所述第一矩陣的和值相等的所述第二矩陣；獲取所述第二矩陣所指示的字符，得到驗證碼信息包括：按照映射關系讀取所述第二矩陣所指示的所述字符，按照所述字符的順序組成所述驗證碼信息。