[發明專利]一種支持分布式部署的跨多種數據源類型的數據同步模式

在審

• 申請號: 202011253401.X
• 申請日: 2020-11-11
• 公開（公告）號: CN112506938A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 公彥;王春;陳鳴
• 申請（專利權）人: 凌韜（濟南）信息科技有限責任公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455;G06F16/25;G06F16/27
• 代理公司: 北京金宏來專利代理事務所(特殊普通合伙) 11641
• 代理人: 萬文會

本發明涉及一種支持分布式部署的跨多種數據源類型的數據同步模式，包括同步請求觸發模式和同步請求處理模式，同步請求觸發模式包括實時觸發模式、定時觸發模式和手工觸發模式；同步請求處理模式包括以下步驟：從消息中間件獲取需同步請求的數據結構，形成請求參數；根據校驗規則校驗請求參數是否合法，如果請求參數不合法，則記錄失敗日志，同步請求結束；如果請求參數合法，根據請求參數獲取該同步請求對應的映射流程定義文件，根據請求參數查詢該同步請求對應的執行任務的通用變量；啟動具體數據映射處理流程的執行線程。本申請具有在不影響各個系統的業務的情況下，實現了不同系統間的數據同步，降低了各個業務系統之間的耦合性的效果。

技術領域

本發明屬于計算機應用技術領域，尤其涉及一種支持分布式部署的跨多種數據源類型的數據同步模式。

背景技術

隨著數據量的爆炸式增長，數據存儲的壓力越來越明顯，因信息數據丟失所造成的損失也越來越大，關注也越來越多。相應的，不同地域的數據中心一般需要專用網絡或互聯網進行數據的傳輸，在當前的網絡背景下，往往是多個業務共享一條網絡，網絡鏈路的負載情況是不可預期的。加之上層業務系統一般都是7×24小時運行的，數據的產生是實時的，并且數量和單個文件的大小通常都比較大。

企業的業務數據統一管理后如何靈活高效的分發使用、微服務架構下多服務模塊數據庫間為實現數據共享的廣播同步、多種類型數據源中數據匯總分析、業務模塊間基于流程的數據處理扭轉如何在模塊間解耦等，在信息化建設過程中遇到的問題，是目前需要解決的一大難題。

發明內容

本發明具有在不影響各個系統的業務的情況下，實現了不同系統間的數據同步，降低了各個業務系統之間的耦合性的優點。

一種支持分布式部署的跨多種數據源類型的數據同步模式，包括同步請求觸發模式和同步請求處理模式，所述同步請求觸發模式包括實時觸發模式、定時觸發模式和手工觸發模式，用于將接收到的數據源處理為統一的數據結構發送至消息中間件；

所述同步請求處理模式包括以下步驟：

任務執行器從消息中間件獲取需同步請求的數據結構，形成請求參數；

根據校驗規則校驗請求參數是否合法，如果請求參數不合法，則記錄失敗日志，同步請求結束；如果請求參數合法，根據請求參數獲取該同步請求對應的映射流程定義文件，根據請求參數查詢該同步請求對應的執行任務的通用變量；啟動具體數據映射處理流程的執行線程。

作為發明的進一步說明：所述執行線程包括：判斷同步請求是否需要延遲執行，若同步請求為非延遲執行或存在非延遲執行標識，則進行立即執行流程；若同步請求為延遲執行，則進行延遲執行流程。

作為發明的進一步說明：所述延遲執行流程包括以下步驟：

獲取同步請求對應的緩沖區間等待隊列的排他鎖；

將該同步請求對應的請求參數保存于對應的所述緩沖區間等待隊列的集合；

釋放緩沖區間級別的排他鎖，形成插入所述緩沖區等待隊列的成功日志并記錄；

獲取所述緩沖區間等待隊列中所有待執行任務，發送消息至所述消息中間件，對該緩沖區間等待隊列中的所有待執行任務進行非延遲執行標識。

作為發明的進一步說明：所述立即執行流程包括以下步驟：

獲取數據主體和映射流程級別上的排他鎖；

獲取成功，則獲取該同步請求對應的執行任務的任務文件最后一次成功執行的時間戳；獲取該同步請求對應的映射流程定義文件，解壓所述映射流程定義文件獲取映射流程定義，執行所述映射流程定義，以獲取所述映射流程級別上等待隊列的排他鎖；處理所述映射流程級別上等待隊列中的未處理的執行任務的任務數據；釋放所述映射流程級別上等待隊列的排他鎖，形成數據交換任務執行完成日志并記錄，然后釋放所述映射流程級別上的排他鎖；