[發明專利]多庫多表同步方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202210492214.X
• 申請日: 2022-05-07
• 公開（公告）號: CN114780641B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 劉志超;羅東山;許洋;朱虹;劉石財;李聰;謝超峰;羅昊陽
• 申請（專利權）人: 湖南長銀五八消費金融股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 張思佳

本申請涉及一種多庫多表同步方法、裝置、計算機設備、存儲介質和計算機程序產品。該方法通過獲取同步配置文件；對同步配置文件進行解析，得到多個同步配置塊，分別獲取同步配置塊對應的多個待同步源表標識；針對每個待同步源表標識，并行獲取對應的源數據庫配置信息以及目標數據庫配置信息、并基于源數據庫配置信息以及目標數據庫配置信息生成單表同步任務；歸集單表同步任務，得到同步配置塊對應的表同步任務。整個方案通過獲取多庫多表的同步配置文件，針對源數據庫與目標數據庫相同的待同步源表，得到多個同步配置塊，依次獲取同步配置塊中的待同步源表的配置信息，無須多次獲取同步配置塊中的源數據庫和目標數據庫信息，從而提高了配置效率。

技術領域

本申請涉及大數據技術領域，特別是涉及一種多庫多表同步方法、裝置、計算機設備、存儲介質和計算機程序產品。

背景技術

在大數據技術領域，數據通常由業務系統產生，這些數據需要同步到大數據平臺，才能進行數據挖掘與分析，發揮數據的價值。

目前的同步方法只能完成單庫或者單表的數據同步，對于多庫多表的數據同步問題，只能通過人工配置，需要人工參與撰寫腳本代碼，工作量大，配置效率低下。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高同步效率的多庫多表同步方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。

第一方面，本申請提供了一種多庫多表同步方法。該方法包括：

獲取多庫多表的同步配置文件；

對同步配置文件進行源數據庫和目標數據庫解析，得到多個同步配置塊，同步配置塊中各待同步源表對應的源數據庫與目標數據庫相同；

針對各同步配置塊，分別執行同步任務生成處理，得到各同步配置塊對應的表同步任務；

其中，同步任務生成處理包括：獲取同步配置塊對應的多個待同步源表標識；針對每個待同步源表標識，并行獲取對應的源數據庫配置信息以及目標數據庫配置信息、并基于源數據庫配置信息以及目標數據庫配置信息生成單表同步任務；歸集單表同步任務，得到同步配置塊對應的表同步任務。

在其中一個實施例中，對同步配置文件進行源數據庫和目標數據庫解析，得到多個同步配置塊包括：對同步配置文件進行解析，得到待同步列表；其中，待同步列表中包括多個待同步源表；將待同步列表中源庫標識與目標庫標識相同的待同步源表進行合并，得到多個同步配置塊。

在其中一個實施例中，基于源數據庫配置信息以及目標數據庫配置信息生成單表同步任務之前，還包括：根據待同步源表標識，確定源數據庫中存儲的源表結構以及目標數據庫中存儲的目標表結構；基于源數據庫配置信息以及目標數據庫配置信息生成單表同步任務包括：若源表結構與目標表結構一致，則獲取源表信息，根據源數據庫配置信息、源表信息以及目標數據庫配置信息，生成單表同步任務。

在其中一個實施例中，還包括：若判讀源表結構與目標表結構不一致，則生成單表變更任務；執行表單變更任務，得到目標表更新配置信息；根據源數據庫配置信息、目標表更新配置信息以及目標數據庫配置信息，生成單表同步任務。

在其中一個實施例中，執行表單變更任務，得到目標表更新配置信息包括：根據單表變更任務，對目標表進行重命名，得到目標表更新名稱；確定源表結構與目標表結構的差異字段，根據差異字段以及源表的建表語句，生成目標表的建表語句；對源表結構以及目標表結構進行字段對比，生成字段填充語句；根據目標表更新名稱、目標表的建表語句以及字段填充語句，得到目標表更新配置信息。

在其中一個實施例中，根據單表變更任務，對目標表進行重命名，得到目標表更新名稱包括：根據單表變更任務，獲取當前系統時間；根據源數據庫標識、目標數據庫標識、目標表名稱以及當前系統時間，生成目標表更新名稱。

第二方面，本申請還提供了一種多庫多表同步裝置。該裝置包括：