[發(fā)明專利]多源數(shù)據(jù)同步方法、系統(tǒng)及其應(yīng)用的模型中樞

在審

• 申請(qǐng)?zhí)枺?/td>: 202110065770.4
• 申請(qǐng)日: 2021-01-19
• 公開（公告）號(hào): CN112765272A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 郁強(qiáng);楊彬;馬俊
• 申請(qǐng)（專利權(quán)）人: 城云科技（中國(guó)）有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/25
• 代理公司: 無錫市匯誠(chéng)永信專利代理事務(wù)所(普通合伙) 32260
• 代理人: 李珍珍

1.一種多源數(shù)據(jù)同步方法，其特征在于，包括：

創(chuàng)建基礎(chǔ)數(shù)據(jù)表；

依據(jù)獲取源數(shù)據(jù)的方式配置同步腳本，其中所述同步腳本至少定義配置數(shù)據(jù)庫(kù)連接信息節(jié)點(diǎn)connection的同步數(shù)據(jù)源連接節(jié)點(diǎn)reader以及寫入數(shù)據(jù)庫(kù)連接節(jié)點(diǎn)writer；

依據(jù)所述同步腳本配置源數(shù)據(jù)同步記錄，所述源數(shù)據(jù)同步記錄至少包括執(zhí)行器名稱、執(zhí)行路由方式、定時(shí)任務(wù)表達(dá)式、運(yùn)行模式、執(zhí)行器方法名稱、子任務(wù)id、任務(wù)參數(shù)；

依據(jù)所述源數(shù)據(jù)同步記錄和所述同步腳本從不同的數(shù)據(jù)庫(kù)內(nèi)同步源數(shù)據(jù)，并寫入所述基礎(chǔ)數(shù)據(jù)表內(nèi)。

2.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)庫(kù)連接信息節(jié)點(diǎn)connection配置數(shù)據(jù)庫(kù)連接信息，包括用戶名username、密碼password、jdbcUrl數(shù)據(jù)庫(kù)連接信息。

3.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，當(dāng)所述獲取源數(shù)據(jù)的方式為SQL語句獲取時(shí)，所述同步腳本配置querySql節(jié)點(diǎn)，querySql節(jié)點(diǎn)的內(nèi)容為需要同步的數(shù)據(jù)查詢SQL語句。

4.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，若所述獲取源數(shù)據(jù)的方式為數(shù)據(jù)表直接同步，所述寫入數(shù)據(jù)庫(kù)連接節(jié)點(diǎn)writer下設(shè)置column字段和table字段，所述column字段為需要寫入所述數(shù)據(jù)基礎(chǔ)表的字段名稱，所述table字段為寫入的所述數(shù)據(jù)基礎(chǔ)表的名稱。

5.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，所述任務(wù)參數(shù)填寫配置的同步腳本的文件路徑。

6.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，依據(jù)設(shè)置的所述定時(shí)任務(wù)表達(dá)式的參數(shù)執(zhí)行數(shù)據(jù)同步任務(wù)，依據(jù)所述同步腳本的所述同步數(shù)據(jù)源連接節(jié)點(diǎn)reader以及所述寫入數(shù)據(jù)庫(kù)連接節(jié)點(diǎn)writer設(shè)置的數(shù)據(jù)源連接創(chuàng)建任務(wù)算法。

7.根據(jù)權(quán)利要求1所述的多源數(shù)據(jù)同步方法，其特征在于，調(diào)取所述基礎(chǔ)數(shù)據(jù)表內(nèi)的源數(shù)據(jù)，依據(jù)設(shè)定規(guī)則進(jìn)行統(tǒng)計(jì)數(shù)據(jù)計(jì)算。

8.一種多源數(shù)據(jù)同步系統(tǒng)，其特征在于，包括：

基礎(chǔ)數(shù)據(jù)表；

同步腳本配置單元，依據(jù)獲取源數(shù)據(jù)的方式配置同步腳本，其中所述同步腳本至少定義同步數(shù)據(jù)源連接節(jié)點(diǎn)reader以及寫入數(shù)據(jù)庫(kù)連接節(jié)點(diǎn)writer，所述同步數(shù)據(jù)源連接節(jié)點(diǎn)reader和所述寫入數(shù)據(jù)庫(kù)連接節(jié)點(diǎn)writer配置數(shù)據(jù)庫(kù)連接信息節(jié)點(diǎn)connection；

源數(shù)據(jù)同步記錄配置單元，依據(jù)所述同步腳本配置源數(shù)據(jù)同步記錄，所述源數(shù)據(jù)同步記錄的配置內(nèi)容至少包括執(zhí)行器名稱、執(zhí)行路由方式、定時(shí)任務(wù)表達(dá)式、運(yùn)行模式、執(zhí)行器方法名稱、子任務(wù)id、任務(wù)參數(shù)；

同步單元，依據(jù)所述源數(shù)據(jù)同步記錄和所述同步腳本從不同的數(shù)據(jù)庫(kù)內(nèi)同步多源數(shù)據(jù)，并寫入所述基礎(chǔ)數(shù)據(jù)表內(nèi)。

9.一種模型中樞，其特征在于，包括管理配置平臺(tái)及腳本執(zhí)行平臺(tái)，執(zhí)行權(quán)利要求1到8任一所述的多源數(shù)據(jù)同步方法，所述同步腳本以及所述所述源數(shù)據(jù)同步記錄在所述管理配置平臺(tái)上配置，所述腳本執(zhí)行平臺(tái)依據(jù)所述同步腳本以及所述源數(shù)據(jù)同步記錄從不同的數(shù)據(jù)庫(kù)內(nèi)同步源數(shù)據(jù)。

10.一種電子設(shè)備，其特征在于，

處理器；以及

存儲(chǔ)器，在所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)存儲(chǔ)器，在所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時(shí)使得所述處理器執(zhí)行根據(jù)權(quán)利要求1-8中任一所述的多源數(shù)據(jù)同步方法。