[發明專利]一種動態優化的多線程數據同步方法及系統

有效

• 申請號: 201911308546.2
• 申請日: 2019-12-18
• 公開（公告）號: CN111190961B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 熊林欣;朱興;陳晶鑫;呂婉瑩;徐錦子
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/52
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 姜麗樓

本發明公開了一種動態優化的多線程數據同步方法及系統，包括：主線程按照預設的時間間隔閾值，根據待同步數據中每個地區的地區標識確定每個地區對應的地區數據條數；主線程根據每個地區對應的地區數據條數，按照預設的子線程分配策略為每個地區分配對應的子線程；每個子線程根據已分配地區對應的地區數據條數，按照預設的同步策略進行數據同步。本發明使用主線程、子線程配合完成,在實現多線程數據同步的同時，控制了子線程的數量，保證服務器資源不會消耗過大，高效穩定；提高了數據同步的性能，降低了某地區數據迅速增多造成的影響，魯棒性強；由于數據的拆分方式靈活多樣，可根據不同的業務需求使用不同的屬性進行拆分，通用性強，適用性廣。

技術領域

本發明涉及數據處理技術領域，并且更具體地，涉及一種動態優化的多線程數據同步方法及系統。

背景技術

對于管理企業會員、保障會員權益的綜合業務系統，主要包含客戶端、服務端、門戶網站、微信端等子系統。會員系統的數據來源是CRM(客戶關系管理)系統，數據同步過程大致分為三步：第一步，當CRM系統數據庫中的數據發生新增、刪除、修改操作時，數據庫觸發器自動處理，在增量數據表中插入一條數據；第二步，數據同步中轉服務，定期從增量數據表中查詢數據，并調用會員系統“數據導入接口”實現批量數據同步；第三步，“數據導入接口”接收批量數據后，進行數據清洗、數據保存等操作。本發明是為優化第二步的數據同步性能而提出的方法。

會員系統所需的數據分為不同類型，主要有“會員權益”、“會員權益包”、“會員權益包與會員權益關系”、“會員”、“會員與會員權益關系”等。數據同步存在先后順序依賴，如必須先同步“會員權益”、“會員權益包”數據后，才能同步“會員權益包與會員權益關系”數據等。增量數據表中的數據不易區分數據類型，因此按照每條數據唯一的“數據編號”順序同步，保證數據同步的順序。

由于完全按照編號順序同步，會導致只能使用單線程，出現同步速度慢的問題，不同地區的數據之間沒有先后順序依賴，因此根據“地區編號”將數據進行拆分，不同地區實現多線程數據同步。然而，當分布地區太多，且單個地區數據量較小時，容易造成資源浪費，而簡單的合并處理又容易造成數據積壓等問題。

因此，需要一種動態優化的多線程數據同步方法。

發明內容

本發明提出一種動態優化的多線程數據同步方法及系統，以解決如何快速高效地實現數據同步的問題。

為了解決上述問題，根據本發明的一個方面，提供了一種動態優化的多線程數據同步方法，所述方法包括：

主線程按照預設的時間間隔閾值，根據待同步數據中每個地區的地區標識確定每個地區對應的地區數據條數；

主線程根據每個地區對應的地區數據條數，按照預設的子線程分配策略為每個地區分配對應的子線程；

每個子線程根據已分配地區對應的地區數據條數，按照預設的同步策略進行數據同步。

優選地，其中所述主線程根據每個地區對應的地區數據條數，按照預設的子線程分配策略為每個地區分配對應的子線程，包括：

當存在未分配子線程的地區時，判斷該地區對應的地區數據條數是否小于等于預設的數據同步條數閾值；若是，則創建單獨處理該地區的子線程；反之，則標記該地區為需合并處理的地區；以及

當存在需合并處理的地區時，根據需合并處理的地區的對應的數據條數，創建合并處理的子線程，以為每個地區分配對應的子線程。

優選地，其中所述每個子線程根據已分配地區對應的地區數據條數，按照預設的同步策略進行數據同步，包括：

每個子線程將對應的已分配地區標記為正在處理狀態；

根據待同步數據的編號選取預設的數據同步條數閾值的數據，若選取的數據條數大于預設選取條數閾值，則直接調用接口同步數據，實現一次數據同步。