[發明專利]多數據源數據同步方法、應用服務器及計算機可讀存儲介質

有效

• 申請號: 201710490443.7
• 申請日: 2017-06-25
• 公開（公告）號: CN107689982B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 付軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明公開了一種多數據源數據同步方法，該方法包括步驟：建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；接收用戶選擇的需要同步的源表和數據源類型，根據預先解析獲得的各數據源的源表結構，生成各數據源對應的建表任務和數據同步任務；將所述生成的各數據源對應的建表任務和數據同步任務發布至預設的工作流調度引擎，通過該預設的工作流調度引擎執行各數據源對應的建表任務和數據同步任務。本發明可以實現整個數據同步流程的全自動作業，省卻了開發人員的開發、測試和部署流程。

技術領域

本發明涉及計算機信息技術領域，尤其涉及一種多數據源數據同步方法、應用服務器及計算機可讀存儲介質。

背景技術

現有的多數據源數據同步操作非常復雜，開發人員需要開發大量腳本，而且需要經過開發、測試、部署等流程，開發周期長，任務量大，且容易出錯。故，現有技術中多數據源的數據同步操作不夠合理，亟需改進。

發明內容

有鑒于此，本發明提出一種多數據源數據同步方法、應用服務器及計算機可讀存儲介質，省卻了開發人員的開發、測試和部署流程，整個數據同步流程實現了全自動作業，既節省了開發成本，又降低了開發人員的出錯風險。

首先，為實現上述目的，本發明提出一種應用服務器，所述應用服務器包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的多數據源數據同步系統，所述多數據源數據同步系統被所述處理器執行時實現如下步驟：

建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；

接收用戶選擇的需要同步的源表和數據源類型，根據預先解析獲得的各數據源的源表結構，生成各數據源對應的建表任務和數據同步任務；及

將所述生成的各數據源對應的建表任務和數據同步任務發布至預設的工作流調度引擎，通過該預設的工作流調度引擎執行各數據源對應的建表任務和數據同步任務。

優選地，所述生成各數據源對應的建表任務包括：根據用戶選擇的需要同步的源表和各源表的類型，生成與該選擇的源表類型對應的目標表。

優選地，所述生成各數據源對應的建表任務包括：

若用戶選擇的需要同步的源表類型為第一類型維度表，則生成與所述第一類型維度表的源表結構對應的第一類型目標表，所述第一類型目標表的數量根據所述用戶選擇的需要同步的第一類型源表數量確定；

若用戶選擇的需要同步的源表類型為第二類型任務表，則生成與所述第二類型任務表的源表結構對應的第二類型目標表，所述第二類型目標表的數量根據所述用戶選擇的需要同步的第二類型源表數量確定；及

若用戶選擇的需要同步的源表類型為第三類型流水表，則生成與所述第三類型流水表的源表結構對應的第三類型目標表，所述第三類型目標表的數量根據所述用戶選擇的需要同步的第三類型源表數量確定。

優選地，所述生成各數據源對應的數據同步任務包括：

根據用戶選擇的需要同步的開始時間和結束時間確定從各源表開始抽取數據的時間和停止抽取數據的時間；

根據用戶選擇的需要同步的源表數量及同步的目標端用戶確定數據同步各個任務所需的資源配置和資源管理節點；及

建立所述需要同步的源表的相應字段與所述生成的各目標表的相應字段的對應關系，并根據源表與目標表相應字段的對應關系生成各源表對應的數據抽取任務。

優選地，所述數據同步任務的執行包括：

若用戶選擇的需要同步的開始時間到達，則啟動各數據源對應的數據同步各個任務，獲取數據同步各個任務所需的資源配置，從各源表中分別抽取相應字段對應的數據，并將抽取的數據分別存入各目標表的相應字段。