[發明專利]一種電商領域數據的自動化調度采集系統

在審

• 申請號: 202111252923.2
• 申請日: 2021-10-27
• 公開（公告）號: CN113868100A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 劉峰;付飛;張勇;隋國棟;劉超
• 申請（專利權）人: 北京值得買科技股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種電商領域數據的自動化調度采集系統，包括：數據服務接口單元、數據緩存單元、數據持久化單元、遠端數據采集單元和監控日志單元；數據服務接口單元定義統一的數據格式，給出數據需求信息；數據緩存單元通過接收到的業務方數據的需求信息到相應的緩存單元中尋找是否包含業務方數據，如果包含業務方數據，調用業務方數據的回調地址；數據持久化單元通過接收到的業務方數據的需求信息到相應的持久化單元中尋找是否包含業務方數據，如果包含業務方數據，調用業務方數據的回調地址；遠端數據采集單元通過接收到的業務方數據的需求信息，進行遠端數據采集，調用業務方數據的回調地址；監控日志單元記錄系統流程日志。

技術領域

本發明涉及軟件工程技術及服務端開發領域，特別涉及一種電商領域數據的自動化調度采集系統。

背景技術

隨著企業的發展與業務的壯大，企業內部會出現多個業務部門之間相互使用對方數據與服務的情況。這種復雜的依賴關系會造成整個信息系統的混亂，降低系統的可維護性，同時也會導致相似需求重復開發、反復從遠端采集相同數據的現象。針對不同業務部門差異化的數據需求，企業希望可以構建一套自動化的調度采集系統并且定義通用的數據格式，經由統一的接口提供服務。這樣可以有效增加信息系統的可維護性，避免重復開發的情況，提高人員的工作效率。

企業內現有的技術方案是根據需求進行定制化開發。需求之間相互獨立，每個需求都會封裝一個對外的接口，沒有實現服務的自動化和代碼資源的復用。

由于各部門之間的需求具有相似性，導致了大量的相似功能重復開發，浪費了部門的研發資源，相互耦合的依賴關系也降低了系統的可維護性。目前同時還存在相同數據反復查詢與遠端重復采集的情況，系統整體的運行效率不高。這種方案沒有做到高耦合低內聚的設計理念，需要進行調整。

發明內容

本發明實施例提供了一種電商領域數據的自動化調度采集系統。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵／重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

根據本發明實施例，提供了一種電商領域數據的自動化調度采集系統，包括：數據服務接口單元、數據緩存單元、數據持久化單元、遠端數據采集單元和監控日志單元；

所述數據服務接口單元定義統一的數據格式，按照統一的數據格式進行業務請求，給出數據需求信息；

所述數據緩存單元通過接收到的業務方數據的需求信息到相應的緩存單元中尋找是否包含所述業務方數據，如果包含所述業務方數據，調用所述業務方數據的回調地址，如果不包含所述業務方數據，進入所述數據持久化單元尋找；

所述數據持久化單元通過接收到的業務方數據的需求信息到相應的持久化單元中尋找是否包含所述業務方數據，如果包含所述業務方數據，調用所述業務方數據的回調地址，如果不包含所述業務方數據，需要進行遠端數據采集；

所述遠端數據采集單元通過接收到的業務方數據的需求信息，進行遠端數據采集，獲取到相應的數據后，調用所述業務方數據的回調地址；

所述監控日志單元記錄系統流程的日志。

在一些實施例中，所述調用所述業務方數據的回調地址之后，還包括：返回并記錄日志。

在一些實施例中，對于所述數據持久化單元，返回并記錄日志，在返回并記錄日志之后還包括：將所述業務方數據寫入所述數據緩存單元，使用LRU緩存機制進行保存。

在一些實施例中，對于所述遠端數據采集單元，返回并記錄日志，在返回并記錄日志之后還包括：將所述業務方數據寫入所述數據持久化單元和數據緩存單元。

在一些實施例中，對于所述遠端數據采集單元，還包括：

如果在規定時間T內獲取所述業務方數據失敗，將失敗結果通過回調地址返回并記錄失敗任務日志，然后將所述業務方數據獲取異常的信息寫入所述數據緩存單元。