[發明專利]多數據源數據同步方法、應用服務器及計算機可讀存儲介質

有效

• 申請號: 201710490443.7
• 申請日: 2017-06-25
• 公開（公告）號: CN107689982B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 付軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種應用服務器，其特征在于，所述應用服務器包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的多數據源數據同步系統的程序代碼，所述多數據源數據同步系統的程序代碼被所述處理器執行時實現如下步驟：

建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；

接收用戶選擇的需要同步的源表和數據源類型，根據預先解析獲得的各數據源的源表結構，生成各數據源對應的建表任務和數據同步任務，其中，所述生成各數據源對應的建表任務包括根據用戶選擇的需要同步的源表和各源表的類型，生成與該選擇的源表類型對應的目標表；所述生成各數據源對應的數據同步任務包括：根據用戶選擇的需要同步的開始時間和結束時間確定從各源表開始抽取數據的時間和停止抽取數據的時間，根據用戶選擇的需要同步的源表數量及同步的目標端用戶確定數據同步各個任務所需的資源配置和資源管理節點，及建立所述需要同步的源表的相應字段與所述生成的各目標表的相應字段的對應關系，并根據源表與目標表相應字段的對應關系生成各源表對應的數據抽取任務；及

將所述生成的各數據源對應的建表任務和數據同步任務發布至預設的工作流調度引擎，通過該預設的工作流調度引擎執行各數據源對應的建表任務和數據同步任務，其中，執行所述數據同步任務包括：當用戶選擇的需要同步的開始時間到達時，啟動各數據源對應的數據同步任務，獲取所述數據同步任務所需的資源配置，從各源表中分別抽取相應字段對應的數據，并將抽取的數據分別存入各目標表的相應字段。

2.如權利要求1所述的應用服務器，其特征在于，所述生成各數據源對應的建表任務包括：

若用戶選擇的需要同步的源表類型為第一類型維度表，則生成與所述第一類型維度表的源表結構對應的第一類型目標表，所述第一類型目標表的數量根據所述用戶選擇的需要同步的第一類型源表數量確定；

若用戶選擇的需要同步的源表類型為第二類型任務表，則生成與所述第二類型任務表的源表結構對應的第二類型目標表，所述第二類型目標表的數量根據所述用戶選擇的需要同步的第二類型源表數量確定；及

若用戶選擇的需要同步的源表類型為第三類型流水表，則生成與所述第三類型流水表的源表結構對應的第三類型目標表，所述第三類型目標表的數量根據所述用戶選擇的需要同步的第三類型源表數量確定。

3.一種多數據源數據同步方法，應用于應用服務器，其特征在于，所述方法包括：

建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；

接收用戶選擇的需要同步的源表和數據源類型，根據預先解析獲得的各數據源的源表結構，生成各數據源對應的建表任務和數據同步任務，其中，所述生成各數據源對應的建表任務包括根據用戶選擇的需要同步的源表和各源表的類型，生成與該選擇的源表類型對應的目標表；所述生成各數據源對應的數據同步任務包括：根據用戶選擇的需要同步的開始時間和結束時間確定從各源表開始抽取數據的時間和停止抽取數據的時間，根據用戶選擇的需要同步的源表數量及同步的目標端用戶確定數據同步各個任務所需的資源配置和資源管理節點，及建立所述需要同步的源表的相應字段與所述生成的各目標表的相應字段的對應關系，并根據源表與目標表相應字段的對應關系生成各源表對應的數據抽取任務；及

將所述生成的各數據源對應的建表任務和數據同步任務發布至預設的工作流調度引擎，通過該預設的工作流調度引擎執行各數據源對應的建表任務和數據同步任務，其中，執行所述數據同步任務包括：當用戶選擇的需要同步的開始時間到達時，啟動各數據源對應的數據同步任務，獲取所述數據同步任務所需的資源配置，從各源表中分別抽取相應字段對應的數據，并將抽取的數據分別存入各目標表的相應字段。