[發明專利]基于消息隊列及微服務的數據同步方法、裝置及系統

有效

• 申請號: 202011068767.X
• 申請日: 2020-10-09
• 公開（公告）號: CN111930529B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 黃菲;吳建英;吳建平;劉冬;李陽;楊士宏;謝鵬;施海娟;宋文君;谷西波;孫筱曄
• 申請（專利權）人: 上海富友支付服務股份有限公司
• 主分類號: G06F9/52
• 分類號: G06F9/52;G06F9/54
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 顧嘉運

本申請公開了一種基于消息隊列及微服務的數據同步方案，包括：注冊并加載數據同步服務以創建數據同步模塊；創建消息隊列服務的長連接，創建微服務的長連接；接收或收集待同步數據；以消息隊列協議方式將所接收到的待同步數據以消息內容形式發送給數據同步處理服務模塊；通過在監測期間捕捉發送異常信息來判斷在利用消息隊列協議進行數據同步期間是否發生了數據同步失敗的情況：如果確定發生了數據同步失敗的情況，則啟動數據同步補償機制以微服務的方式再次將所述消息內容發送給所述數據同步處理服務模塊；以及所述數據同步處理服務模塊接收從所述數據同步模塊發送的消息內容并對所述消息內容進行數據同步處理。

技術領域

本申請涉及數據同步和轉換處理領域，更具體而言，涉及一種基于分布式消息隊列及微服務的數據映射同步方法、裝置及系統。

背景技術

數據同步技術是指在不同存儲設備、或終端與終端，終端與服務器之間的數據備份與信息共享操作，使得存儲在各個數據源處的數據保持完整性和統一性。

目前數據同步處理領域常見的主流同步方式包括下述幾種：

1）任務調度數據同步方式，該方式通過由任務調度管理系統加載注冊的定時程序基于定時器配置的時間點來定時執行數據同步操作。這種基于任務調度的定時數據同步的方式對于一些實時性要求較高的應用場景，例如支付場景，會存在處理上的時間差異，無法實現實時的數據同步處理。因此，存在數據同步實時性問題。

2）運行腳本任務方式，該方式以數據庫運行腳本形式，或服務器Shell腳本的形式配置系統定時任務以執行完成數據同步操作。這種數據庫運行腳本形式的數據同步方式本質上還是基于預定的時間點來定時執行數據同步操作，因此，它還是無法解決數據同步實時性問題。

3）數據庫觸發器同步方式，即利用數據庫自帶的觸發器在數據寫入或更新時執行數據同步處理和轉換。這種觸發器數據同步方式是基于數據表記錄寫入或更新操作來觸發完成數據同步轉換，因此，其能夠實現實時的數據同步。但同時，由于當讀寫操作較多時，每次讀寫都會觸發相應的數據同步操作，因此，對數據庫本身的性能消耗較大，同時影響原系統邏輯的處理效率。

4）單純依賴消息隊列的同步方式，該方式基于消息隊列的生產者和消費者模式，在系統做出數據操作的同時，發送相關的消息至消息隊列中間件，再轉由同步服務處理。所述消息隊列的同步方式主要具有異步、低耦合、消峰填谷等優點，但是其也存在諸如可用性、復雜性、一致性等問題。

另外，除了上述現有的幾種主流數據同步技術自身存在的各種問題之外，現有的數據同步技術還存在諸如下述的共同技術問題：

跨數據源或數據庫實例同步問題，即現有同步技術無法實現多目標數據源的同步方式；同步規則可配置性問題，即在不同類型的數據庫之間進行同步時，可能涉及到數據的轉換，而數據轉換過程中所使用的基本參數、轉換規則、映射關系、目標數據源配置等隨著所涉及的數據庫的類型不同而不同，因此，這就導致同步規則的可配置性極差，不具有通用性；數據同步過程的可靠性問題，當數據同步由于例如軟件、硬件或網絡故障而失敗時，上述這些現有的數據同步技術都缺乏有效的補償及預警機制，這導致數據同步失敗，進而影響數據的可靠性。

因此，存在一種需求，希望能夠提供一種能夠克服上述現有數據同步方式中的各種問題，同時又簡單高效的數據同步方案。

發明內容

為了解決上述問題，本申請提供了一種基于分布式消息隊列及微服務的數據映射同步方法、裝置及系統。