[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010622997.X
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111782728A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 王穎
• 申請(qǐng)（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/28
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 高鶯然;馬敬

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)，涉及云計(jì)算領(lǐng)域，尤其涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。本發(fā)明實(shí)施例包括：讀取源數(shù)據(jù)庫(kù)的源端數(shù)據(jù)表中的數(shù)據(jù)，得到待同步數(shù)據(jù)集，針對(duì)待同步數(shù)據(jù)集中的每條數(shù)據(jù)，檢測(cè)該數(shù)據(jù)的指定字段是否符合指定字段對(duì)應(yīng)的檢核規(guī)則，若不符合指定字段對(duì)應(yīng)的檢核規(guī)則，則確定該數(shù)據(jù)為異常數(shù)據(jù)。確定源端數(shù)據(jù)表中的異常數(shù)據(jù)數(shù)量，根據(jù)該異常數(shù)據(jù)數(shù)量，對(duì)待同步數(shù)據(jù)集進(jìn)行同步處理操作。可以避免過多異常數(shù)據(jù)被同步，避免傳輸資源以及存儲(chǔ)資源的浪費(fèi)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)

相關(guān)技術(shù)中，異構(gòu)數(shù)據(jù)源同步平臺(tái)可以實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)(比如MySQL、Oracle等)、分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)、Hive、Hbase、文件傳輸協(xié)議(File Transfer Protocol，F(xiàn)TP)等異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步。

現(xiàn)有的數(shù)據(jù)同步方法為，數(shù)據(jù)同步平臺(tái)提供一套抽象化的數(shù)據(jù)抽取插件和數(shù)據(jù)寫入插件，并基于此設(shè)計(jì)一套簡(jiǎn)化版的中間數(shù)據(jù)傳輸格式。對(duì)于任意結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)源，均可使用數(shù)據(jù)抽取插件從一個(gè)數(shù)據(jù)源中抽取數(shù)據(jù)，采用上述中間數(shù)據(jù)傳輸格式對(duì)數(shù)據(jù)進(jìn)行傳輸，并由數(shù)據(jù)寫入插件將抽取的數(shù)據(jù)寫入另一個(gè)數(shù)據(jù)源。

然而，在數(shù)據(jù)同步過程中，數(shù)據(jù)同步平臺(tái)只能將一個(gè)數(shù)據(jù)源中需要被同步的所有數(shù)據(jù)同步至另一個(gè)數(shù)據(jù)源，無法發(fā)現(xiàn)被同步的數(shù)據(jù)中的異常數(shù)據(jù)，若被同步的數(shù)據(jù)中存在較多的異常數(shù)據(jù)，將造成傳輸資源以及存儲(chǔ)資源的浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)，以避免過多異常數(shù)據(jù)被同步，避免傳輸資源以及存儲(chǔ)資源的浪費(fèi)。具體技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)同步方法，包括：

讀取源數(shù)據(jù)庫(kù)的源端數(shù)據(jù)表中的數(shù)據(jù)，得到待同步數(shù)據(jù)集；

針對(duì)所述待同步數(shù)據(jù)集中的每條數(shù)據(jù)，檢測(cè)該數(shù)據(jù)的指定字段是否符合所述指定字段對(duì)應(yīng)的檢核規(guī)則，其中，所述檢核規(guī)則是預(yù)先設(shè)置的；

若不符合所述指定字段對(duì)應(yīng)的檢核規(guī)則，則確定該數(shù)據(jù)為異常數(shù)據(jù)；

確定所述待同步數(shù)據(jù)集中的異常數(shù)據(jù)數(shù)量；

根據(jù)所述異常數(shù)據(jù)數(shù)量，對(duì)所述待同步數(shù)據(jù)集進(jìn)行同步處理操作。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述異常數(shù)據(jù)數(shù)量，對(duì)所述待同步數(shù)據(jù)集進(jìn)行同步處理操作，包括：

若所述異常數(shù)據(jù)數(shù)量小于或者等于告警閾值，則將所述待同步數(shù)據(jù)集同步至目標(biāo)數(shù)據(jù)庫(kù)中。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述異常數(shù)據(jù)數(shù)量，對(duì)所述待同步數(shù)據(jù)集進(jìn)行同步處理操作，包括：

若所述異常數(shù)據(jù)小于或者等于告警閾值，則對(duì)所述異常數(shù)據(jù)進(jìn)行處理，以更新待同步數(shù)據(jù)集，得到更新后的待同步數(shù)據(jù)集；

將更新后的待同步數(shù)據(jù)集同步至目標(biāo)數(shù)據(jù)庫(kù)中。

在一種可能的實(shí)現(xiàn)方式中，所述檢核規(guī)則通過以下步驟設(shè)置得到：

展示用于編輯檢核規(guī)則的設(shè)置頁(yè)面；

接收用戶在所述設(shè)置頁(yè)面的編輯信息，所述編輯信息用于生成所述檢核規(guī)則；

通過預(yù)設(shè)交互接口，獲取生成的所述檢核規(guī)則，以執(zhí)行所述針對(duì)所述待同步數(shù)據(jù)集中的每條數(shù)據(jù)，檢測(cè)該數(shù)據(jù)的指定字段是否符合所述指定字段對(duì)應(yīng)的檢核規(guī)則的步驟。

在一種可能的實(shí)現(xiàn)方式中，所述對(duì)所述異常數(shù)據(jù)進(jìn)行處理，包括：