[發明專利]一種數據處理方法和客戶端設備

有效

• 申請號: 201611216634.6
• 申請日: 2016-12-23
• 公開（公告）號: CN108241665B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 何熠皓
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明實施例提供了一種數據處理方法和客戶端設備，可以使客戶端設備靈活選用不同的爬取速度，提高爬取效率。本發明實施例的方法包括：客戶端設備獲取目標爬取任務；所述客戶端設備獲取當前移動時間窗口的請求數，所述當前移動時間窗口為以當前時刻作為結束時刻的移動時間窗口；所述客戶端設備根據所述當前移動時間窗口的請求數和所述目標爬取任務的請求數調節所述目標爬取任務的請求發送速度。

技術領域

本發明涉及客戶端領域，尤其涉及一種數據處理方法和客戶端設備。

背景技術

網絡爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，網絡爬蟲在爬取網站時，往往會遇到對請求速度有限制的網站，一般來說，若網絡爬蟲所在的IP在移動時間窗口內的請求數大于移動時間窗口允許的最大請求數，則網站將采取反爬蟲措施，造成爬取失敗。

現有技術中，為了解決上述問題，可以對網絡爬蟲進行限速，根據移動時間窗口的時長和移動時間窗口允許的最大請求數，可以得到在連續發送請求的情況下，最小的固定時間時隔，網絡爬蟲按照固定時間間隔向網站發送請求，可以避免上述問題。

然而，在一些應用場合，用戶往往會發起一些零碎的，請求數量不多，但是實時性要求比較高的爬取任務，由于這些任務的開始時刻與上一次爬取任務的結束時刻之間存在時間間隔，而且數量不多，即使在很短的時間內將所有請求都發送出去，也不會超出移動時間窗口的限制，這時，如果還是采用固定時間間隔的方式，將降低爬取的效率。

發明內容

本發明實施例提供了一種數據處理方法和客戶端設備，可以使客戶端設備靈活選用不同的爬取速度，提高爬取效率。

有鑒于此，本發明實施例提供了一種數據處理方法，包括：

客戶端設備獲取目標爬取任務；

所述客戶端設備獲取當前移動時間窗口的請求數，所述當前移動時間窗口為以當前時刻作為結束時刻的移動時間窗口；

所述客戶端設備根據所述當前移動時間窗口的請求數和所述目標爬取任務的請求數調節所述目標爬取任務的請求發送速度。

在一些可能的實現方式中，所述客戶端設備獲取當前移動時間窗口的請求數包括：

所述客戶端設備判斷所述當前時刻與第一結束移動時間窗口的結束時刻之間的間隔是否大于或等于單位個移動時間窗口的時長，所述第一結束移動時間窗口為所述客戶端設備執行最后一個爬取任務對應的移動時間窗口；

若所述當前時刻與所述第一結束移動時間窗口的結束時刻之間的間隔大于或等于所述單位個移動時間窗口的時長，則所述客戶端設備確定所述當前移動時間窗口的請求數為零；

若所述當前時刻與所述第一結束移動時間窗口的結束時刻之間的間隔小于所述單位個移動時間窗口的時長，則所述客戶端設備按照第一預置公式計算所述當前移動時間窗口的請求數。

在一些可能的實現方式中，若所述客戶端設備確定所述當前移動時間窗口的請求數為零，所述客戶端設備根據所述當前移動時間窗口的請求數和所述目標爬取任務的請求數調節所述目標爬取任務的請求發送速度包括：

所述客戶端設備判斷所述目標爬取任務的請求數是否大于所述移動時間窗口允許的最大請求數；

若所述目標爬取任務的請求數大于所述移動時間窗口允許的最大請求數，則所述客戶端設備按照第一間隔發送所述目標爬取任務的全部請求，所述第一間隔由所述移動時間窗口的時長和所述移動時間窗口允許的最大請求數確定；

若所述目標爬取任務的請求數不大于所述移動時間窗口允許的最大請求數，則所述客戶端設備按照非間隔模式發送所述目標爬取任務的全部請求。