[發(fā)明專利]可視化數(shù)據(jù)同步方法、系統(tǒng)、終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911347664.4
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111125065B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設(shè)計(jì)）人: 宋麗娟;冷英英;樊士卜;王宇航
• 申請(qǐng)（專利權(quán)）人: 陽光人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/23;G06F16/26;G06F16/27
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 梁韜

本發(fā)明實(shí)施例公開了一種可視化數(shù)據(jù)同步方法、系統(tǒng)、終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：根據(jù)用戶在可視化任務(wù)配置界面中配置的配置數(shù)據(jù)生成對(duì)應(yīng)的數(shù)據(jù)同步任務(wù)并發(fā)送給執(zhí)行器，所述配置數(shù)據(jù)包括源端信息、目標(biāo)端信息和數(shù)據(jù)同步條件，所述數(shù)據(jù)同步條件包括設(shè)定的任務(wù)同步類型；若為非實(shí)時(shí)同步，執(zhí)行器根據(jù)所述源端信息確定及連接源數(shù)據(jù)庫，并按照所述數(shù)據(jù)同步條件將所述源數(shù)據(jù)庫中的數(shù)據(jù)發(fā)送至由目標(biāo)端信息確定的目標(biāo)數(shù)據(jù)表中以完成所述數(shù)據(jù)同步任務(wù)。本發(fā)明的技術(shù)方案通過友好地可視化界面配置，相比原有的需要在后臺(tái)寫入冗長的sqoop腳本操作，該方法變得更加簡(jiǎn)潔、快速，可大大提升開發(fā)人員的效率等。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種可視化數(shù)據(jù)同步方法、系統(tǒng)、終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在傳統(tǒng)庫中最常用的數(shù)據(jù)處理工具ETL(Extraction?Transformation?Loading)能夠?qū)?shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和加載，但其只能服務(wù)于傳統(tǒng)的關(guān)系型庫，而無法滿足該傳統(tǒng)型庫和Hadoop平臺(tái)直接的數(shù)據(jù)導(dǎo)入導(dǎo)出需求。為此，現(xiàn)有的方式通過采用sqoop腳本將數(shù)據(jù)從傳統(tǒng)型庫導(dǎo)入到Hadoop平臺(tái)，雖然可以解決上述問題，但采用sqoop腳本同樣存在一些問題，例如，腳本命令冗長繁瑣且容易出錯(cuò)，命令的執(zhí)行沒有統(tǒng)一規(guī)范。此外，歷次執(zhí)行結(jié)果也沒有辦法統(tǒng)計(jì)，做不到對(duì)數(shù)據(jù)的實(shí)時(shí)同步，也沒有可視化的交互頁面等。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提出一種可視化數(shù)據(jù)同步方法、系統(tǒng)、終端和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的一實(shí)施例提出一種可視化數(shù)據(jù)同步方法，包括：

根據(jù)用戶在可視化任務(wù)配置界面中配置的配置數(shù)據(jù)生成對(duì)應(yīng)的數(shù)據(jù)同步任務(wù)并發(fā)送給執(zhí)行器，所述配置數(shù)據(jù)包括源端信息、目標(biāo)端信息和數(shù)據(jù)同步條件，所述數(shù)據(jù)同步條件包括設(shè)定的任務(wù)同步類型；

若所述任務(wù)同步類型為非實(shí)時(shí)同步，所述執(zhí)行器根據(jù)所述源端信息確定及連接源數(shù)據(jù)庫，并按照所述數(shù)據(jù)同步條件將所述源數(shù)據(jù)庫中的數(shù)據(jù)發(fā)送至由所述目標(biāo)端信息確定的目標(biāo)數(shù)據(jù)表中，以完成所述數(shù)據(jù)同步任務(wù)。

進(jìn)一步地，在上述的可視化數(shù)據(jù)同步方法中，還包括：

若所述任務(wù)同步類型為實(shí)時(shí)同步，所述數(shù)據(jù)同步條件還包括指定的分發(fā)器，每一分發(fā)器預(yù)先關(guān)聯(lián)對(duì)應(yīng)的消息處理器；

在所述執(zhí)行器初次執(zhí)行完所述數(shù)據(jù)同步任務(wù)后，對(duì)所述源數(shù)據(jù)庫中的數(shù)據(jù)變化進(jìn)行實(shí)時(shí)消息監(jiān)聽；

每當(dāng)監(jiān)聽到有數(shù)據(jù)變化的消息時(shí)，通知所述指定的分發(fā)器將包含更新數(shù)據(jù)的消息分發(fā)給對(duì)應(yīng)的消息處理器，以使所述消息處理器將所述更新數(shù)據(jù)更新至所述目標(biāo)數(shù)據(jù)表中。

進(jìn)一步地，在上述的可視化數(shù)據(jù)同步方法中，還包括：

在所述消息處理器將所述更新數(shù)據(jù)更新至所述目標(biāo)數(shù)據(jù)表中時(shí)，監(jiān)控所述更新的結(jié)果是否為預(yù)設(shè)異常狀態(tài)；

若監(jiān)控到預(yù)設(shè)異常狀態(tài)，則觸發(fā)對(duì)所述更新數(shù)據(jù)的逐條補(bǔ)處理操作。

進(jìn)一步地，在上述的可視化數(shù)據(jù)同步方法中，所述數(shù)據(jù)同步條件還包括設(shè)定的并發(fā)任務(wù)數(shù)和拆分字段，若所述并發(fā)任務(wù)數(shù)大于1，所述方法還包括：

根據(jù)所述拆分字段生成所述并發(fā)任務(wù)數(shù)數(shù)量的數(shù)據(jù)同步任務(wù)并分別發(fā)送給對(duì)應(yīng)數(shù)量的執(zhí)行器以進(jìn)行任務(wù)并發(fā)執(zhí)行。

進(jìn)一步地，在上述的可視化數(shù)據(jù)同步方法中，所述數(shù)據(jù)同步條件還包括設(shè)定的分區(qū)字段和分區(qū)策略，所述方法還包括：

根據(jù)所述分區(qū)字段和所述分區(qū)策略對(duì)目標(biāo)數(shù)據(jù)表進(jìn)行劃分，得到多個(gè)分區(qū)以用于存儲(chǔ)來自所述源數(shù)據(jù)庫中的數(shù)據(jù)。

進(jìn)一步地，在上述的可視化數(shù)據(jù)同步方法中，所述可視化任務(wù)配置界面包括源端配置區(qū)域、目標(biāo)端配置區(qū)域和數(shù)據(jù)同步配置區(qū)域；其中，