[發明專利]網絡爬蟲請求的獲取方法及裝置

有效

• 申請號: 201410779511.8
• 申請日: 2014-12-15
• 公開（公告）號: CN104408194B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 李慶
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 吳貴明,張永明

1.一種網絡爬蟲請求的獲取方法，其特征在于，包括：

獲取待爬蟲的資源信息的驗證碼圖片；

對所述驗證碼圖片進行分割和降噪處理，得到多個第一圖片；

對各個所述第一圖片進行二值化處理得到各個所述第一圖片的第一矩陣；

讀取數據庫中與各個所述第一矩陣對應的第二矩陣；

獲取所述第二矩陣所指示的字符，得到驗證碼信息；

基于所述驗證碼信息和預先獲取的用戶信息生成網絡爬蟲請求，其中，所述網絡爬蟲請求用于獲取所述資源信息；

讀取數據庫中與各個所述第一矩陣對應的第二矩陣包括：計算所述第一矩陣的和值，從所述數據庫中讀取與所述第一矩陣的和值相等的所述第二矩陣；

獲取所述第二矩陣所指示的字符，得到驗證碼信息包括：按照映射關系讀取所述第二矩陣所指示的所述字符，按照所述字符的順序組成所述驗證碼信息。

2.根據權利要求1所述的獲取方法，其特征在于，對所述驗證碼圖片進行分割和降噪處理，得到多個第一圖片包括：

將所述驗證碼圖片按照預設寬度分割得到多個第二圖片；

對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片，

其中，對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片包括：

判斷所述第一像素點的亮度是否大于第一預設閾值；

若所述第一像素點的亮度大于所述第一預設閾值，則設置所述第一像素點的灰度值為第一值；

若所述第一像素點的亮度不大于所述第一預設閾值，則設置所述第一像素點的灰度值為第二值。

3.根據權利要求2所述的獲取方法，其特征在于，對所述第二圖片中的各個第一像素點進行亮度降噪處理，得到降噪后的所述第一圖片之前，所述獲取方法包括：

獲取所述第二圖片的高度和寬度；

使用所述第二圖片的高度和寬度判斷在所述第二圖片上是否存在下一個第一像素點；

若所述第二圖片上存在所述下一個第一像素點，則讀取所述下一個第一像素點的亮度。

4.根據權利要求2所述的獲取方法，其特征在于，若所述第一像素點的亮度大于所述第一預設閾值，則設置所述第一像素點的灰度值為第一值包括：

若所述第一像素點的亮度大于所述第一預設閾值，則獲取所述第一像素點的第一色度值和第二像素點的第二色度值，其中，所述第一像素點與所述第二像素點的距離小于第二預設閾值；

計算各個所述第二色度值與所述第一色度值的差值；

統計大于第三預設閾值的所述差值的數量；

若所述大于第三預設閾值的所述差值的數量不大于第四預設閾值，則設置所述第一像素點的灰度值為所述第一值；

若所述大于第三預設閾值的所述差值的數量大于第四預設閾值，則設置所述第一像素點的灰度值為所述第二值。

5.根據權利要求2至4中任意一項所述的獲取方法，其特征在于，對各個所述第一圖片進行二值化處理得到各個所述第一圖片的第一矩陣包括：

若所述第一圖片的所述第一像素點的灰度值為所述第一值，設置所述第一像素點的二維值為第三值，若所述第一圖片的所述第一像素點的灰度值為所述第二值，設置所述第一像素點的二維值為第四值，得到二維的所述第一矩陣。

6.一種網絡爬蟲請求的獲取裝置，其特征在于，包括：

第一獲取模塊，用于獲取待爬蟲的資源信息的驗證碼圖片；

分割降噪模塊，用于對所述驗證碼圖片進行分割和降噪處理，得到多個第一圖片；

矩陣模塊，用于對各個所述第一圖片進行二值化處理得到各個所述第一圖片的第一矩陣；

讀取模塊，用于讀取數據庫中與各個所述第一矩陣對應的第二矩陣；

第二獲取模塊，用于獲取所述第二矩陣所指示的字符，得到驗證碼信息；

生成模塊，用于基于所述驗證碼信息和預先獲取的用戶信息生成網絡爬蟲請求，其中，所述網絡爬蟲請求用于獲取所述資源信息；

所述讀取模塊包括：計算子模塊，用于計算所述第一矩陣的和值；第二讀取子模塊，用于從所述數據庫中讀取與所述第一矩陣的和值相等的所述第二矩陣；

所述第二獲取模塊包括：第三讀取子模塊，用于按照映射關系讀取所述第二矩陣所指示的所述字符；組成子模塊，用于按照所述字符的順序組成所述驗證碼信息。