[發明專利]一種推拉結合的分布式云端并發采集方法

在審

• 申請號: 201710475030.1
• 申請日: 2017-06-21
• 公開（公告）號: CN107302577A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 楊勝華
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 高經

1.一種推拉結合的分布式云端并發采集方法，其特征在于：包括采集調度、采集服務端和采集云端三個模塊，其中

采集調度模塊包括提供拉取網頁API接口、維護采集服務端和采集云端對應功能；采集服務端模塊包括定時回收網頁模塊及定時發送配置及命令模塊，提供定時回收網頁、配置發送及獲取云端狀態功能；采集云端模塊包括URL存放容器、配置緩存和計數容器，配置緩存基于緩存機制，進行配置的獲取、存放和更新；

該分布式云端并發采集方法通過RPC實現推模式和拉模式兩種遠程調用方式，所述推模式是采集云端接收采集服務端定時通過RPC推送的信息，完成配置發送以及已下載網頁回收，所述拉模式是采集云端定時向采集調度模塊發起請求，計算所需的網頁數量并從采集調度模塊提供的API接口拉取采集所需的網頁；

所述方法能實現待下載URL計算與請求功能、配置緩存功能、任務云端主動停止功能和請求超時主動關閉連接功能。

2.根據權利要求1所述的推拉結合的分布式云端并發采集方法，其特征在于：所述待下載URL計算與請求功能為采集云端計算各個任務請求數量，攜帶任務請求數量向采集服務端發起請求，采集服務端按照任務請求數量返回URL。

3.根據權利要求2所述的推拉結合的分布式云端并發采集方法，其特征在于：采集云端計算各個任務請求數量時，即推模式具體包括以下步驟：

A）從配置緩存中獲取全部正在運行任務；

B）遍歷所有正在運行任務并判斷運行任務在URL存放容器中是否存在，若存在執行步驟C），否則執行步驟D）；

C）獲取URL存放容器中相應任務的存量，與設定的該任務上限閥值差值即為待獲取的該任務的URL數量；

D）設定的任務上限閥值即為待獲取任務的URL數量；

E）將各個任務的數量放入請求中到采集服務端，等待采集服務端響應，響應即為符合要求的待下載URL。

4.根據權利要求1、2或3所述的推拉結合的分布式云端并發采集方法，其特征在于：所述拉模式具體包括以下步驟：

1）采集服務端定時啟動；

2）遍歷采集服務端關聯節點，發起RPC請求；

3）采集云端接收采集服務端推送的請求，判斷請求類型是否是配置，若是，執行步驟4），否則執行步驟5）；

4）采集云端存放配置；

5）判斷請求類型是否是命令，若是，執行步驟6），否則執行步驟7）；

6）采集云端執行相應命令；

7）判斷請求類型是否是回收網頁，若是，執行步驟8），否則執行步驟9）；

8）采集云端返回已下載網頁；

9）結束。

5.根據權利要求4所述的推拉結合的分布式云端并發采集方法，其特征在于：所述配置緩存功能針對規則配置不能及時清理問題，設定合理的過期時間，配置緩存項在給定時間內沒有被讀/寫訪問，則過期回收。

6.根據權利要求5所述的推拉結合的分布式云端并發采集方法，其特征在于：采集服務端的心跳將最新的運行中任務情況發送至采集云端，采集云端根據接收到的任務信息對配置緩存進行存放或更新。

7.根據權利要求6所述的推拉結合的分布式云端并發采集方法，其特征在于：所述配置獲取為從配置中獲取數據，若配置緩存中存在該配置項則換回配置的相關信息，若不存在則按照默認生成存放相應的配置并返回。

8.根據權利要求7所述的推拉結合的分布式云端并發采集方法，其特征在于：所述任務云端主動停止功能針對任務主動停止，采集云端待下載URL仍然下載，創建基于時間回收的任務停止緩存。

9.根據權利要求8所述的推拉結合的分布式云端并發采集方法，其特征在于：所述請求超時主動關閉連接功能針對連接請求阻塞，在連接超時參數基礎上增設請求超時參數，在請求線程長時間無回調時，主動關閉請求線程，并設定請求失敗，重新發起請求。