[發明專利]分布式爬蟲任務調度方法、裝置、設備及計算機可讀介質

在審

• 申請號: 202010930417.3
• 申請日: 2020-09-07
• 公開（公告）號: CN112100471A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 王俊杰;劉遠;高雅
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F9/48
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 曾軍;盧萬騰

1.一種分布式爬蟲任務調度方法，其特征在于，包括：

獲取待爬取網站的目標網絡地址，其中，所述待爬取網站為目標爬取任務中對應的數據爬取網站，所述目標網絡地址用于表示所述待爬取網站的互聯網協議地址；

提取與所述目標網絡地址的網絡時延在閾值范圍內的第一爬蟲節點，其中，所述網絡時延用于表示爬蟲節點與所述待爬取網站的網絡距離，所述爬蟲節點為分布式爬蟲節點；

將所述第一爬蟲節點作為執行所述目標爬取任務的目標節點。

2.根據權利要求1所述的方法，其特征在于，提取與所述目標網絡地址的網絡時延在閾值范圍內的第一爬蟲節點包括：

在預設二維坐標系的橫軸中查找所述目標網絡地址，其中，所述橫軸上的取值用于表示多個網站的網絡地址；

在查找到所述目標網絡地址的情況下，在所述預設二維坐標系的縱軸中確定第一閾值位置，其中，所述預設二維坐標系的各個坐標用于表示各個所述爬蟲節點，所述縱軸上的取值用于表示各個所述爬蟲節點與各個所述網站的網絡時延，所述預設二維坐標系的原點至所述第一閾值位置之間的取值范圍表示所述閾值范圍；

將所述目標網絡地址對應的、所述原點至所述第一閾值位置之間的爬蟲節點作為所述第一爬蟲節點。

3.根據權利要求2所述的方法，其特征在于，在預設二維坐標系的橫軸中查找所述目標網絡地址之前，所述方法還包括按照如下方式構建所述預設二維坐標系：

獲取多個網站的所述網絡地址；

利用所有所述網絡地址構建第一集合；

檢測多個所述爬蟲節點與所述第一集合中各個所述網絡地址的網絡時延，得到第二集合，其中，所述第二集合用于保存多個所述爬蟲節點與各個所述網絡地址基于所述網絡時延的第一對應關系；

將所述第一集合中的所述網絡地址作為所述橫軸，將所述網絡時延作為所述縱軸，按照所述第二集合中的所述第一對應關系確定各個所述爬蟲節點的坐標，得到所述預設二維坐標系。

4.根據權利要求3所述的方法，其特征在于，在預設二維坐標系的橫軸中未查找到所述目標網絡地址的情況下，提取與所述目標網絡地址的網絡時延在閾值范圍內的第一爬蟲節點包括：

檢測多個所述爬蟲節點與所述目標網絡地址的網絡時延，得到第三集合，其中，所述第三集合用于保存多個所述爬蟲節點與所述目標網絡地址基于所述網絡時延的第二對應關系；

將所述目標網絡地址增加到所述預設二維坐標系的所述橫軸中，并按照所述第二對應關系確定各個所述爬蟲節點的坐標；

將所述目標網絡地址對應的、所述原點至所述第一閾值位置之間的爬蟲節點作為所述第一爬蟲節點。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括按照如下方式更新所述預設二維坐標系：

將所述橫軸上所有的所述網絡地址作為集合元素，構建第四集合；

檢測多個所述爬蟲節點與所述第四集合中各個所述網絡地址的網絡時延，得到第五集合，其中，所述第五集合用于保存多個所述爬蟲節點與各個所述網絡地址基于所述網絡時延的第三對應關系；

按照所述第三對應關系更新各個所述爬蟲節點的坐標，以更新所述預設二維坐標系。

6.根據權利要求2至5任一所述的方法，其特征在于，提取與所述目標網絡地址的網絡時延在閾值范圍內的第一爬蟲節點還包括：

提取所述目標網絡地址對應的、所述原點至所述第一閾值位置之間的多個爬蟲節點作為第二爬蟲節點；

將多個所述第二爬蟲節點中未進行爬取任務的節點作為所述第一爬蟲節點。

7.根據權利要求6所述的方法，其特征在于，在存在多個未進行爬取任務的節點的情況下，將多個所述第二爬蟲節點中未進行爬取任務的節點作為所述第一爬蟲節點還包括：

將多個未進行爬取任務的節點與所述目標網絡地址的網絡時延進行排序；

按照所述網絡時延的排序順序確定所述第一爬蟲節點。