[發明專利]一種可擴展型分布式熱拔插部署網絡爬蟲服務模型及其控制方法

在審

• 申請號: 202110604575.4
• 申請日: 2021-05-31
• 公開（公告）號: CN113312216A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 鄭炎;陳耿生;薩冰珍;劉泳
• 申請（專利權）人: 中電福富信息科技有限公司
• 主分類號: G06F11/20
• 分類號: G06F11/20;G06F16/951
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 彭東

1.一種可擴展型分布式熱拔插部署網絡爬蟲服務模型，其特征在于：其包括主控服務器以及至少一臺熱備主控服務器，主控服務器分別連接任務下發中心和爬蟲采集服務集群，任務下發中心用于發布采集任務至當前主控服務器；主控服務用于采集任務下發、動態調整爬蟲采集服務集群的負載策略以及同步信息至熱備主控服務器；熱備主控服務器在主控服務宕機時接替主控服務器以負責采集任務下發、動態調整爬蟲采集服務集群的負載策略以及同步信息。

2.根據權利要求1所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型，其特征在于：爬蟲采集服務集群由若干爬蟲節點組成。

3.根據權利要求2所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型，其特征在于：爬蟲節點與主控服務器之間通過心跳來交互信息，熱備主控服務器與主控服務器之間通過心跳來交互信息。

4.根據權利要求1所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型，其特征在于：增加或減少熱備主控服務器時，熱備主控服務器將發送心跳于主控服務，再由主控服務通過心跳Ack將熱備信息發送給各個爬蟲節點；同時由主控服務器將信息同步給熱備主控服務器。

5.一種可擴展型分布式熱拔插部署網絡爬蟲服務模型的控制方法，采用權利要求1至4之一所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型，其特征在于：方法包括以下步驟;

步驟1，任務下發中心下發采集任務至主控服務器，

步驟2，主控服務器根據采集任務需求確定任務負載，并將采集任務下發至爬蟲采集服務集群中選定的爬蟲節點；

步驟3，選定的爬蟲節點接收并執行采集任務，同時返回接收任務響應至主控服務器；

步驟4，爬蟲采集服務集群的所有爬蟲節點周期性向主控服務器通知爬蟲節點的存活信息；

步驟5，主控服務器更新對應爬蟲節點的存活信息，并同步爬蟲節點的存活消息至熱備主控服務器的同時向對應的爬蟲節點返回響應信息；

步驟6，對應的爬蟲節點檢查是否在指定時間內收到主控服務器的返回響應信息；是則，保持當前主控服務器不變；否則，判斷當前主控服務器宕機同時將后續請求發送至熱備主控服務器；

步驟7，主控服務器周期性檢查每個爬蟲節點是否均有發送存活信息；是則，執行步驟9；否則，將未發送存活信息的爬蟲節點移除出爬蟲采集服務集群并執行步驟8；

步驟8，主控服務器從爬蟲采集服務集群中重新選定新的爬蟲節點并下發采集任務并執行步驟3；

步驟9；接收選定爬蟲節點的任務反饋判斷當前采集任務是否完成；是則，結束當前采集任務；否則，執行步驟4。

6.根據權利要求6所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型的控制方法，其特征在于：步驟1中當任務下發中心下發采集任務超時，則下發采集任務至熱備主控服務器。

7.根據權利要求6所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型的控制方法，其特征在于：步驟2中主控服務器從爬蟲采集服務集群中當前周期標識為存活的爬蟲節點選定執行采集任務的爬蟲節點。

8.根據權利要求6所述的一種可擴展型分布式熱拔插部署網絡爬蟲服務模型的控制方法，其特征在于：步驟5中主控服務器先判斷發送通知的爬蟲節點是否在爬蟲采集服務集群中；是則，更新存活信息；否則，將該爬蟲節點添加至爬蟲采集服務集群再更新存活信息。