[發明專利]路由信息抓取方法和裝置

有效

• 申請號: 201410425843.6
• 申請日: 2014-08-26
• 公開（公告）號: CN104217314B
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 凡紅恩
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06Q10/08
• 分類號: G06Q10/08;G06Q30/00;G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,路凱

1.一種路由信息抓取方法，其特征在于，包括：

電商服務器獲取路由信息抓取請求；

所述電商服務器根據所述路由信息抓取請求中的第三方服務器標識調用對應的第三方接口類，以通過所述第三方接口類調用至少兩個第三方服務器共用的核心處理類，所述核心處理類用于封裝所述至少兩個第三方服務器路由信息抓取的共有流程功能，所述第三方接口類用于將所述路由信息抓取請求轉換為所述核心處理類能夠處理的通用格式；

所述電商服務器通過調用所述第三方接口類訪問所述第三方服務器，并抓取路由信息。

2.根據權利要求1所述的方法，其特征在于：

所述核心處理類用于處理轉換后的所述路由信息抓取請求、對抓取數據進行解析、過濾和持久化。

3.根據權利要求1所述的方法，其特征在于，所述電商服務器根據所述路由信息抓取請求中的第三方服務器標識調用對應的第三方接口類包括：

所述電商服務器根據所述路由信息抓取請求中的請求類型確定接口類類型，且根據第三方服務器標識在確定類型的接口類中選擇第三方接口類。

4.根據權利要求1所述的方法，其特征在于，所述電商服務器抓取路由信息之后，還包括：

所述電商服務器比較當前抓取的最新路由信息時間是否晚于本地最新路由信息時間；

若是，則所述電商服務器將所述當前抓取的最新路由信息更新為本地的最新路由信息；

若否，則所述電商服務器丟棄所述當前抓取的最新路由信息。

5.根據權利要求1所述的方法，其特征在于，所述電商服務器通過調用所述第三方接口類訪問所述第三方服務器包括：

所述電商服務器將調用所述第三方接口類訪問所述第三方服務器的抓取任務添加到抓取隊列中；

如果所述電商服務器識別到當前訪問的所述第三方服務器的連接異常，則將連接異常的第三方服務器的抓取任務移出所述抓取隊列，并在監控隊列中添加對所述連接異常的第三方服務器的監控任務，且同時阻止所述連接異常的第三方服務器的其他抓取任務添加到所述抓取隊列；

所述電商服務器通過心跳監控的方式執行所述監控隊列中的監控任務，以監控所述第三方服務器的連接狀態；

如果所述連接異常的第三方服務器的連接狀態變更為連接正常，則將對應的監控任務移出所述監控隊列，且將對應的抓取任務添加到所述抓取隊列中。

6.一種路由信息抓取裝置，配置于電商服務器中，其特征在于，所述裝置包括：

路由信息請求獲取模塊，用于獲取路由信息抓取請求；

服務對接模塊，用于根據所述路由信息抓取請求中的第三方服務器標識調用對應的第三方接口類，以通過所述第三方接口類調用至少兩個第三方服務器共用的核心處理類，所述核心處理類用于封裝所述至少兩個第三方服務器路由信息抓取的共有流程功能，所述第三方接口類用于將所述路由信息抓取請求轉換為所述核心處理類能夠處理的通用格式；

路由信息抓取模塊，用于通過調用所述第三方接口類訪問所述第三方服務器，并抓取路由信息。

7.根據權利要求6所述的裝置，其特征在于：

所述核心處理類用于處理轉換后的所述路由信息抓取請求、對抓取數據進行解析、過濾和持久化。

8.根據權利要求6所述的裝置，其特征在于，所述服務對接模塊具體用于：

根據所述路由信息抓取請求中的請求類型確定接口類類型，且根據第三方服務器標識在確定類型的接口類中選擇第三方接口類。

9.根據權利要求6所述的裝置，其特征在于，還包括：

路由信息過濾模塊，用于抓取路由信息之后，比較當前抓取的最新路由信息時間是否晚于本地最新路由信息時間；

若是，則所述電商服務器將所述當前抓取的最新路由信息更新為本地的最新路由信息；

若否，則所述電商服務器丟棄所述當前抓取的最新路由信息。

10.根據權利要求6所述的裝置，其特征在于，路由信息抓取模塊具體應有：

將調用所述第三方接口類訪問所述第三方服務器的抓取任務添加到抓取隊列中；

如果識別到當前訪問的所述第三方服務器的連接異常，則將連接異常的第三方服務器的抓取任務移出所述抓取隊列，并在監控隊列中添加對所述連接異常的第三方服務器的監控任務，且同時阻止所述連接異常的第三方服務器的其他抓取任務添加到所述抓取隊列；

通過心跳監控的方式執行所述監控隊列中的監控任務，以監控所述第三方服務器的連接狀態；

如果所述連接異常的第三方服務器的連接狀態變更為連接正常，則將對應的監控任務移出所述監控隊列，且將對應的抓取任務添加到所述抓取隊列中。