[發明專利]數據同步方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 202011484355.4
• 申請日: 2020-12-16
• 公開（公告）號: CN112612583A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 王曉初;趙宏軍
• 申請（專利權）人: 平安消費金融有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 程超

本申請涉及數據處理技術領域，提供了一種數據同步方法、裝置、計算機設備和可讀存儲介質。該方法包括：確定執行數據同步線程的數據處理能力；確定消息隊列中的消息主題；以及在同步所述消息主題對應的數據時，根據所述數據處理能力和所述消息主題的歷史流量信息，調整所述消息主題的線程分配數量。通過本申請，能夠提升同步線程與同步數據量之間的適配率，解決線程資源的浪費和同步進度的遲滯的問題。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據同步方法、裝置、計算機設備和可讀存儲介質。

背景技術

隨著各種業務的深度交叉，上下游業務系統之間依賴關系的增強，對上下游之間的數據同步要求也在提升。業內上下游數據同步方案一般會使用消息隊列實現業務解耦和數據泄洪，在數據同步過程中一般依據經驗和業務情況預估數據量，使用固定的線程數來消費某個或某幾個主題。但是，發明人研究發現，這樣的方案存在明顯的問題，因為業務數據通常是隨時間變化的，使用固定的線程數來消費某個或某幾個主題容易造成線程資源浪費或同步進度遲滯，線程數量與同步的數據量之間并不能很好的適配。

因此，如何提升同步線程與同步數據量之間的適配率，解決線程資源的浪費和同步進度的遲滯問題，成為本領域亟需解決的技術問題。

發明內容

本申請的目的是提供一種數據同步方法、裝置、計算機設備和可讀存儲介質，用于解決現有技術中的上述技術問題。

一方面，為實現上述目的，本申請提供了一種數據同步方法。

該數據同步方法包括：確定執行數據同步線程的數據處理能力；確定消息隊列中的消息主題；以及在同步所述消息主題對應的數據時，根據所述數據處理能力和所述消息主題的歷史流量信息，調整所述消息主題的線程分配數量。

進一步地，在同步所述消息主題對應的數據時，根據所述數據處理能力和所述消息主題的歷史流量信息，調整消息主題的線程分配數量的步驟包括：根據所述歷史流量信息確定所述消息主題的數據量變化周期和間隔周期；根據所述變化周期確定所述線程分配數量的調整時間；根據所述間隔周期確定所述調整時間所依據的歷史時間；若當前時間達到所述調整時間時，根據所述數據處理能力和所述歷史時間的數據量確定目標線程數；通過所述目標線程數調整所述線程分配數量。

進一步地，根據所述數據處理能力和所述歷史時間的數據量確定目標線程數的步驟包括：根據所述數據處理能力確定在單位時長內處理數據量和所需線程數的對應關系；根據所述歷史時間的數據量確定所述單位時長內的歷史數據量；以及在所述對應關系中，確定與所述歷史數據量對應的線程數，以得到所述目標線程數。

進一步地，根據所述變化周期確定所述線程分配數量的調整時間的步驟包括：當所述變化周期不滿足與時間的相關性要求時，確定所述調整時間為每間隔預定時長調整一次，其中，所述預定時長小于或等于所述預定周期；當所述變化周期滿足與時間的相關性要求時，確定所述調整時間為每間隔所述變化周期對應的時長調整一次。

進一步地，確定執行數據同步的線程的數據處理能力的步驟包括：在所述消息隊列的測試消息主題中寫入滿足測試量的測試數據；訂閱所述測試消息主題，以使所述線程消費所述測試數據；記錄所述線程的消費完成時間；以及根據所述測試量和所述消費完成時間，確定所述線程的數據處理能力。

進一步地，在調整消息主題的線程分配數量的步驟之后，所述數據同步方法還包括：將所述線程分配數量的線程分配至若干同步節點，其中，當所述線程分配數量大于1時，至少將兩個所述線程分配至不同的同步節點。