[發(fā)明專利]異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010875938.3
• 申請日: 2020-08-25
• 公開（公告）號: CN112148788A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 李柯辰;朱瀟婷;唐宏禹;何偉;魏戰(zhàn)松;曾子豪;王釬;李釧冉
• 申請（專利權(quán)）人: 珠海市卓軒科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/48
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 葉琦煒

1.一種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，包括以下步驟：

S100，接收數(shù)據(jù)同步請求，獲取所述數(shù)據(jù)同步請求的源數(shù)據(jù)庫類型、目標(biāo)數(shù)據(jù)庫類型、同步數(shù)據(jù)屬性信息及任務(wù)調(diào)度配置信息；

S200，根據(jù)所述源數(shù)據(jù)庫類型及所述目標(biāo)數(shù)據(jù)庫類型，讀取相應(yīng)的模板文件，基于所述模板文件組裝所述同步數(shù)據(jù)屬性信息，并根據(jù)所述任務(wù)調(diào)度配置信息生成相應(yīng)的數(shù)據(jù)同步任務(wù)；

S300，根據(jù)所述任務(wù)調(diào)度配置信息生成所述數(shù)據(jù)同步任務(wù)相應(yīng)的數(shù)據(jù)讀取線程及數(shù)據(jù)寫入線程，所述數(shù)據(jù)讀取線程根據(jù)所述源數(shù)據(jù)庫類型及所述同步數(shù)據(jù)屬性信息從源數(shù)據(jù)庫中抽取待同步數(shù)據(jù)，所述數(shù)據(jù)寫入線程根據(jù)所述目標(biāo)數(shù)據(jù)庫類型及所述同步數(shù)據(jù)屬性信息將所述待同步數(shù)據(jù)寫入至目標(biāo)數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，所述同步數(shù)據(jù)屬性信息包括：數(shù)據(jù)來源信息、數(shù)據(jù)去向信息、數(shù)據(jù)映射關(guān)系、臟數(shù)據(jù)檢測規(guī)則及寫入方式。

3.根據(jù)權(quán)利要求2所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，所述步驟S300包括：

S310，所述數(shù)據(jù)讀取線程根據(jù)所述源數(shù)據(jù)庫類型調(diào)用相應(yīng)的讀取接口，通過所述數(shù)據(jù)來源信息獲取所述待同步數(shù)據(jù)；

S320，根據(jù)所述數(shù)據(jù)去向信息對所述待同步數(shù)據(jù)進(jìn)行類型轉(zhuǎn)換，并通過所述臟數(shù)據(jù)檢測規(guī)則對所述待同步數(shù)據(jù)進(jìn)行檢測過濾；

S330，所述數(shù)據(jù)寫入線程根據(jù)所述目標(biāo)數(shù)據(jù)庫類型調(diào)用相應(yīng)的寫入接口，根據(jù)所述數(shù)據(jù)去向信息及所述寫入方式，將檢測過濾后的所述待同步數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫中。

4.根據(jù)權(quán)利要求2所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)來源信息及所述數(shù)據(jù)去向信息均包括：數(shù)據(jù)庫、表及字段；所述寫入方式被配置為更新或者覆蓋。

5.根據(jù)權(quán)利要求1所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，所述步驟S300還包括：

在啟動所述數(shù)據(jù)讀取線程之前，根據(jù)所述模板文件中的預(yù)處理配置，通過反射調(diào)用相應(yīng)的處理類執(zhí)行所述數(shù)據(jù)同步任務(wù)的預(yù)處理。

6.根據(jù)權(quán)利要求1所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步方法，其特征在于，所述任務(wù)調(diào)度配置信息包括：配置資源組、調(diào)度周期、任務(wù)并發(fā)數(shù)、資源優(yōu)先級、任務(wù)生效規(guī)則及任務(wù)失效規(guī)則。

7.一種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步系統(tǒng)，使用權(quán)利要求1至6中任一項的方法，其特征在于，包括：

配置模塊，用于通過可視化交互界面，配置數(shù)據(jù)同步請求的源數(shù)據(jù)庫類型、目標(biāo)數(shù)據(jù)庫類型、同步數(shù)據(jù)屬性信息及任務(wù)調(diào)度配置信息；

任務(wù)生成模塊，用于根據(jù)所述源數(shù)據(jù)庫類型及所述目標(biāo)數(shù)據(jù)庫類型，讀取相應(yīng)的模板文件，基于所述模板文件組裝所述同步數(shù)據(jù)屬性信息，并根據(jù)所述任務(wù)調(diào)度配置信息生成相應(yīng)的數(shù)據(jù)同步任務(wù)；

任務(wù)調(diào)度模塊，用于根據(jù)所述任務(wù)調(diào)度配置信息管理所述數(shù)據(jù)同步任務(wù)，根據(jù)所述源數(shù)據(jù)庫類型及所述同步數(shù)據(jù)屬性信息從源數(shù)據(jù)庫中抽取待同步數(shù)據(jù)，并根據(jù)所述目標(biāo)數(shù)據(jù)庫類型及所述同步數(shù)據(jù)屬性信息將所述待同步數(shù)據(jù)寫入至目標(biāo)數(shù)據(jù)庫。

8.根據(jù)權(quán)利要求7所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述任務(wù)調(diào)度模塊還包括：

數(shù)據(jù)抽取模塊，用于根據(jù)所述源數(shù)據(jù)庫類型調(diào)用相應(yīng)的讀取接口，通過數(shù)據(jù)來源信息獲取所述待同步數(shù)據(jù)；

數(shù)據(jù)轉(zhuǎn)化模塊，用于根據(jù)數(shù)據(jù)去向信息對所述待同步數(shù)據(jù)進(jìn)行類型轉(zhuǎn)換，并通過臟數(shù)據(jù)檢測規(guī)則對所述待同步數(shù)據(jù)進(jìn)行檢測過濾；

數(shù)據(jù)寫入模塊，用于根據(jù)所述目標(biāo)數(shù)據(jù)庫類型調(diào)用相應(yīng)的寫入接口，根據(jù)所述數(shù)據(jù)去向信息及所述待同步數(shù)據(jù)的寫入方式，將所述待同步數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫中。

9.根據(jù)權(quán)利要求7所述的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)同步系統(tǒng)，其特征在于，還包括：

結(jié)果查看模塊，用于從目標(biāo)數(shù)據(jù)庫中獲取所述待同步數(shù)據(jù)的同步結(jié)果，進(jìn)行界面展示。

10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項的方法。