[發明專利]一種電商領域數據的自動化調度采集系統

在審

• 申請號: 202111252923.2
• 申請日: 2021-10-27
• 公開（公告）號: CN113868100A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 劉峰;付飛;張勇;隋國棟;劉超
• 申請（專利權）人: 北京值得買科技股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種電商領域數據的自動化調度采集系統，其特征在于，包括，

數據服務接口單元、數據緩存單元、數據持久化單元、遠端數據采集單元和監控日志單元；

所述數據服務接口單元定義統一的數據格式，按照統一的數據格式進行業務請求，給出數據需求信息；

所述數據緩存單元通過接收到的業務方數據的需求信息到相應的緩存單元中尋找是否包含所述業務方數據，如果包含所述業務方數據，調用所述業務方數據的回調地址，如果不包含所述業務方數據，進入所述數據持久化單元尋找；

所述數據持久化單元通過接收到的業務方數據的需求信息到相應的持久化單元中尋找是否包含所述業務方數據，如果包含所述業務方數據，調用所述業務方數據的回調地址，如果不包含所述業務方數據，需要進行遠端數據采集；

所述遠端數據采集單元通過接收到的業務方數據的需求信息，進行遠端數據采集，獲取到相應的數據后，調用所述業務方數據的回調地址；

所述監控日志單元記錄系統流程的日志。

2.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，所述調用所述業務方數據的回調地址之后，還包括：返回并記錄日志。

3.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，對于所述數據持久化單元，返回并記錄日志，在返回并記錄日志之后還包括：將所述業務方數據寫入所述數據緩存單元，使用LRU緩存機制進行保存。

4.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，對于所述遠端數據采集單元，返回并記錄日志，在返回并記錄日志之后還包括：將所述業務方數據寫入所述數據持久化單元和數據緩存單元。

5.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，對于所述遠端數據采集單元，還包括：

如果在規定時間T內獲取所述業務方數據失敗，將失敗結果通過回調地址返回并記錄失敗任務日志，然后將所述業務方數據獲取異常的信息寫入所述數據緩存單元。

6.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，所述數據服務接口單元定義統一的數據格式，按照統一的數據格式進行業務請求，給出數據需求信息，其中所述進行業務請求的具體內容包括：業務方的回調地址和業務方數據需求信息。

7.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，業務主要包括：店鋪信息采集業務，規格參數信息采集業務和評論信息采集業務。

8.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，所述遠端數據采集單元包括：API接口、分布式爬蟲和遠端數據庫。

9.根據權利要求7所述的電商領域數據的自動化調度采集系統，其特征在于，所述規定時間T為0-7天，其中， T=0，為實時采集。

10.根據權利要求1所述的電商領域數據的自動化調度采集系統，其特征在于，所述日志包括：請求日志、數據處理日志、采集日志和數據回調日志。