[發明專利]一種支持分布式部署的跨多種數據源類型的數據同步模式

在審

• 申請號: 202011253401.X
• 申請日: 2020-11-11
• 公開（公告）號: CN112506938A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 公彥;王春;陳鳴
• 申請（專利權）人: 凌韜（濟南）信息科技有限責任公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455;G06F16/25;G06F16/27
• 代理公司: 北京金宏來專利代理事務所(特殊普通合伙) 11641
• 代理人: 萬文會

1.一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，包括同步請求觸發模式和同步請求處理模式，所述同步請求觸發模式包括實時觸發模式、定時觸發模式和手工觸發模式，用于將接收到的數據源處理為統一的數據結構發送至消息中間件；

所述同步請求處理模式包括以下步驟：

任務執行器從消息中間件獲取需同步請求的數據結構，形成請求參數；

根據校驗規則校驗請求參數是否合法，如果請求參數不合法，則記錄失敗日志，同步請求結束；如果請求參數合法，根據請求參數獲取該同步請求對應的映射流程定義文件，根據請求參數查詢該同步請求對應的執行任務的通用變量；

啟動具體數據映射處理流程的執行線程。

2.根據權利要求1所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述執行線程包括：判斷同步請求是否需要延遲執行，若同步請求為非延遲執行或存在非延遲執行標識，則進行立即執行流程；若同步請求為延遲執行，則進行延遲執行流程。

3.根據權利要求2所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述延遲執行流程包括以下步驟：

獲取同步請求對應的緩沖區間等待隊列的排他鎖；

將該同步請求對應的請求參數保存于對應的所述緩沖區間等待隊列的集合；

釋放緩沖區間級別的排他鎖，形成插入所述緩沖區等待隊列的成功日志并記錄；

獲取所述緩沖區間等待隊列中所有待執行任務，發送消息至所述消息中間件，對該緩沖區間等待隊列中的所有待執行任務進行非延遲執行標識。

4.根據權利要求2所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述立即執行流程包括以下步驟：

獲取數據主體和映射流程級別上的排他鎖；

獲取成功，則獲取該同步請求對應的執行任務的任務文件最后一次成功執行的時間戳；獲取該同步請求對應的映射流程定義文件，解壓所述映射流程定義文件獲取映射流程定義，執行所述映射流程定義，以獲取所述映射流程級別上等待隊列的排他鎖；處理所述映射流程級別上等待隊列中的未處理的執行任務的任務數據；釋放所述映射流程級別上等待隊列的排他鎖，形成數據交換任務執行完成日志并記錄，然后釋放所述映射流程級別上的排他鎖；

獲取失敗，則獲取映射流程級別上等待隊列的排他鎖，將未處理的執行任務的任務數據插入至級別上等待隊列中，釋放所述映射流程級別上等待隊列的排他鎖，形成插入等待隊列成功日志并記錄。

5.根據權利要求1所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述數據結構包括數據本體編號、業務系統名稱、交換任務編號、交換任務變量。

6.根據權利要求5所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述請求參數包括數據本體編號、業務系統名稱和交換任務編號。

7.根據權利要求6所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述校驗規則包括：

檢測數據本體編號是否存在；

業務系統名稱是否為空；

交換任務編號是否存在。

8.根據權利要求1所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述映射流程定義文件為xml格式文件，存儲于分布式文件系統中。

9.根據權利要求1所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述定時觸發模式和手工觸發模式均基于分布式任務調度系統將任務執行器嵌入數據處理服務中，通過任務執行器對數據源進行處理。

10.根據權利要求1所述的一種支持分布式部署的跨多種數據源類型的數據同步模式，其特征在于，所述實時觸發模式基于AOP技術對業務系統中的數據變化進行實時監控，當檢測到有數據發生變化時，對業務系統中的數據進行處理。