[發明專利]一種數據交換方法、裝置、設備及存儲介質

有效

• 申請號: 201811348046.7
• 申請日: 2018-11-13
• 公開（公告）號: CN109408581B
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 林鵬程
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種數據交換方法，應用于數據交換系統的第一工作節點，數據交換系統的控制節點分別與每個工作節點通信連接，該方法包括：在要對第一數據源進行第一交換作業時，確定預先獲得的控制節點同步的異常信息庫中是否存在第一數據源的異常登記信息；如果是，則對第一數據源進行異常檢測，并在對第一數據源進行異常檢測過程中，縮短預設的異常檢測超時時間和/或減少預設的異常檢測重試次數；基于相應的檢測結果，確定終止或運行第一交換作業。應用本發明實施例所提供的技術方案，可以減少對第一數據源相關交換作業的整體等待時間，提高數據交換效率。本發明還公開了一種數據交換裝置、設備及存儲介質，具有相應技術效果。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據交換調度方法、裝置、設備及存儲介質。

背景技術

在信息化時代，企業的各種業務數據越來越多。為了更好的利用數據，企業多是通過ETL技術將數據轉換為信息、知識，或者將數據從業務系統轉移到數據倉庫，對數據的有效利用已經成為提高企業核心競爭力的主要瓶頸。

ETL，即英文Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取(extract)、交互轉換(transform)、加載(load)至目的端的過程。

為提高數據交換能力，支持更多數據源接入，會采用集群的方式部署利用ETL技術的數據交換系統，如圖1所示，數據交換系統由控制節點統一管理多個工作節點，進行交換作業的調度，將交換作業分配給1個或多個工作節點進行數據交換。工作節點可以橫向擴展，進行具體的數據交換工作，連接源端數據庫和目的端數據庫，基于交換作業周期性地對數據進行抽取、交互轉換和加載。

在現有技術中，控制節點主要進行交換作業的分配和調度，工作節點基于交換作業進行交換鏈路的建立和數據交換。當交換作業所對應的數據源出現異常不能響應工作節點的請求時，工作節點會進行多次嘗試，使得交換作業運行時間較長。其他工作節點根據作業調度仍會繼續對該數據源進行交換作業的運行。從而導致每個工作節點針對于該數據源的交換作業均需要較長時間，而每個工作節點的作業運行資源是有限的，其他交換作業將無法被快速處理，數據交換效率較低。

發明內容

本發明的目的是提供一種數據交換方法、裝置、設備及存儲介質，以提高數據交換效率。

為解決上述技術問題，本發明提供如下技術方案：

一種數據交換方法，應用于數據交換系統的第一工作節點，所述數據交換系統包括控制節點和多個工作節點，所述控制節點分別與每個工作節點通信連接，所述第一工作節點為所述數據交換系統中的任意一個工作節點，所述方法包括：

在要對第一數據源進行第一交換作業時，確定預先獲得的所述控制節點同步的異常信息庫中是否存在所述第一數據源的異常登記信息；

如果是，則對所述第一數據源進行異常檢測，并在對所述第一數據源進行異常檢測過程中，縮短預設的異常檢測超時時間和/或減少預設的異常檢測重試次數；

基于相應的檢測結果，確定終止或運行所述第一交換作業。

在本發明的一種具體實施方式中，在確定所述異常信息庫中存在所述第一數據源的異常登記信息時，在所述對所述第一數據源進行異常檢測之前，還包括：

確定所述異常信息庫中記錄的所述第一數據源的異常登記信息的異常級別是否為故障級別；

如果是，則將所述第一交換作業置為故障暫停狀態，直至接收到針對所述第一數據源的故障恢復信息時，執行所述對所述第一數據源進行異常檢測的步驟；

所述故障級別為：所述控制節點在所述第一數據源的異常登記記錄次數達到M次或者所述第一數據源的異常登記節點達到N個時更新的異常級別，M和N均為正整數。

在本發明的一種具體實施方式中，還包括：