[發明專利]數據交換方法及其系統

在審

• 申請號: 201711120378.5
• 申請日: 2017-11-13
• 公開（公告）號: CN109783201A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 韓飛;張侃;劉彥偉;曾光耀
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50;G06F9/54;H04L12/24
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本公開提供了一種數據交換方法，包括：獲取數據交換任務的配置參數；解析配置參數；根據配置參數解析結果，將數據交換任務拆分成多個數據交換子任務，其中，不同的數據交換子任務使用不同的數據交換執行器實例完成數據交換；以及為多個數據交換子任務中的各個數據交換子任務申請對應的系統資源，以執行對應的數據交換執行器實例來完成各數據交換子任務。本公開提供了一種數據交換系統、一種計算系統和一種計算機可讀介質。

技術領域

本公開涉及計算機技術領域，更具體地，涉及一種數據交換方法及其系統、以及一種計算系統和一種計算機可讀介質。

背景技術

隨著計算機技術的快速發展，數據交換變得越來越普遍，越來越重要。在實現本公開實施例的過程中，發明人發現相關技術中至少存在如下問題：傳統的數據交換一般都以單機單進程的方式運行，當需要進行大規模或超大規模的數據交換時，效率會出現瓶頸。

發明內容

有鑒于此，本公開提供了一種能夠以多機多進程的方式運行的據交換方法和數據交換系統。

本公開的一個方面提供了一種據交換方法，包括：獲取數據交換任務的配置參數；解析上述配置參數；根據配置參數解析結果，將上述數據交換任務拆分成多個數據交換子任務，其中，不同的數據交換子任務使用不同的數據交換執行器實例完成數據交換；以及為上述多個數據交換子任務中的各個數據交換子任務申請對應的系統資源，以執行對應的數據交換執行器實例來完成各數據交換子任務。

根據本公開的實施例，為上述多個數據交換子任務中的各個數據交換子任務申請對應的系統資源包括：獲取預先指定的完成上述數據交換任務所需要的擬定系統資源；以及基于上述擬定系統資源，為上述多個數據交換子任務中的每個數據交換子任務申請對應的系統資源。

根據本公開的實施例，上述方法還包括：根據申請到的系統資源，啟動對應的數據交換執行器實例。

根據本公開的實施例，解析上述配置參數包括：根據預先指定的并行度解析上述配置參數，其中，上述并行度用于限定能夠并行運行的上述多個數據交換子任務的個數。

根據本公開的實施例，上述數據交換任務所針對的數據交換雙方為異構數據源。

根據本公開的實施例，上述數據交換執行器實例在實現數據交換的過程中：數據的讀操作和寫操作是分開執行的；和/或利用內存隊列進行數據傳輸。

本公開的另一個方面提供了一種據交換系統，包括：獲取模塊，用于獲取數據交換任務的配置參數；解析模塊，用于解析上述配置參數；拆分模塊，用于根據配置參數解析結果，將上述數據交換任務拆分成多個數據交換子任務，其中，不同的數據交換子任務使用不同的數據交換執行器實例完成數據交換；以及請求模塊，用于為上述多個數據交換子任務中的各個數據交換子任務申請對應的系統資源，以執行對應的數據交換執行器實例來完成各數據交換子任務。

根據本公開的實施例，上述請求模塊包括：獲取單元，用于獲取預先指定的完成上述數據交換任務所需要的擬定系統資源；以及請求單元，用于基于上述擬定系統資源，為上述多個數據交換子任務中的每個數據交換子任務申請對應的系統資源。

根據本公開的實施例，上述系統還包括：啟動模塊，用于根據申請到的系統資源，啟動對應的數據交換執行器實例。

根據本公開的實施例，上述解析模塊還用于：根據預先指定的并行度解析上述配置參數，其中，上述并行度用于限定能夠并行運行的上述多個數據交換子任務的個數。

根據本公開的實施例，上述數據交換任務所針對的數據交換雙方為異構數據源。

根據本公開的實施例，上述數據交換執行器實例在實現數據交換的過程中：數據的讀操作和寫操作是分開執行的；和/或利用內存隊列進行數據傳輸。