[發(fā)明專利]一種基于kettle的大數(shù)據(jù)比對方法及裝置

在審

• 申請?zhí)枺?/td>: 201810415516.0
• 申請日: 2018-05-03
• 公開（公告）號: CN108629002A
• 公開（公告）日: 2018-10-09
• 發(fā)明（設(shè)計(jì)）人: 劉遠(yuǎn)見
• 申請（專利權(quán)）人: 山東匯貿(mào)電子口岸有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

本發(fā)明提供了一種基于kettle的大數(shù)據(jù)比對方法及裝置，該方法包括：獲取數(shù)據(jù)比對請求；從預(yù)設(shè)的源數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)源數(shù)據(jù)記錄，并將所述至少一個(gè)源數(shù)據(jù)記錄存儲至預(yù)設(shè)內(nèi)存中；從預(yù)設(shè)的目標(biāo)數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)目標(biāo)數(shù)據(jù)記錄，并將所述至少一個(gè)目標(biāo)數(shù)據(jù)記錄存儲至所述預(yù)設(shè)內(nèi)存中；在所述預(yù)設(shè)內(nèi)存中對各個(gè)所述源數(shù)據(jù)記錄以及各個(gè)所述目標(biāo)數(shù)據(jù)記錄進(jìn)行比對。本方案能提高了數(shù)據(jù)比對效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于kettle的大數(shù)據(jù)比對方法及裝置。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)呈爆發(fā)式增長，如今，大數(shù)據(jù)作為一種數(shù)據(jù)趨勢，正在席卷全世界。在以數(shù)據(jù)為中心的產(chǎn)業(yè)鏈條中，數(shù)據(jù)同步定義了如何獲取數(shù)據(jù)，是數(shù)據(jù)處理和分析的前提保障。其中，數(shù)據(jù)比對作為數(shù)據(jù)同步過程中的關(guān)鍵環(huán)節(jié)，直接影響著數(shù)據(jù)同步的效率。

Kettle作為一款國外開源的ETL工具，常被用于進(jìn)行數(shù)據(jù)同步。利用Kettle進(jìn)行數(shù)據(jù)同步時(shí)，需將數(shù)據(jù)庫中的數(shù)據(jù)傳輸?shù)終ettle中，以在Kettle中進(jìn)行數(shù)據(jù)進(jìn)行。

隨著大數(shù)據(jù)的發(fā)展，需要進(jìn)行數(shù)據(jù)比對的數(shù)據(jù)量較大，能達(dá)到上千萬級，將大量的數(shù)據(jù)從數(shù)據(jù)庫中傳輸?shù)終ettle時(shí)，勢必導(dǎo)致數(shù)據(jù)庫與Kettle的交互十分頻繁，這將帶來較大的網(wǎng)絡(luò)及數(shù)據(jù)庫連接消耗，從而容易降低數(shù)據(jù)比對效率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于kettle的大數(shù)據(jù)比對方法及裝置，能提高數(shù)據(jù)比對的效率。

第一方面，本發(fā)明實(shí)施例提供了一種基于kettle的大數(shù)據(jù)比對方法，包括：

獲取數(shù)據(jù)比對請求；

從預(yù)設(shè)的源數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)源數(shù)據(jù)記錄，并將所述至少一個(gè)源數(shù)據(jù)記錄存儲至預(yù)設(shè)內(nèi)存中；

從預(yù)設(shè)的目標(biāo)數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)目標(biāo)數(shù)據(jù)記錄，并將所述至少一個(gè)目標(biāo)數(shù)據(jù)記錄存儲至所述預(yù)設(shè)內(nèi)存中；

在所述預(yù)設(shè)內(nèi)存中對各個(gè)所述源數(shù)據(jù)記錄以及各個(gè)所述目標(biāo)數(shù)據(jù)記錄進(jìn)行比對。

優(yōu)選地，

在所述在所述預(yù)設(shè)內(nèi)存中對各個(gè)所述源數(shù)據(jù)記錄以及各個(gè)所述目標(biāo)數(shù)據(jù)記錄進(jìn)行比對之后，進(jìn)一步包括：

根據(jù)所述預(yù)設(shè)內(nèi)存中的比對結(jié)果，對所述目標(biāo)數(shù)據(jù)庫中的所述至少一個(gè)目標(biāo)數(shù)據(jù)記錄進(jìn)行處理。

優(yōu)選地，

所述在所述預(yù)設(shè)內(nèi)存中對各個(gè)所述源數(shù)據(jù)記錄以及各個(gè)所述目標(biāo)數(shù)據(jù)記錄進(jìn)行比對，以及所述根據(jù)所述預(yù)設(shè)內(nèi)存中的對比結(jié)果，對所述目標(biāo)數(shù)據(jù)庫中的所述至少一個(gè)目標(biāo)數(shù)據(jù)記錄進(jìn)行處理，包括：

針對每一個(gè)所述源數(shù)據(jù)記錄，均執(zhí)行：

確定所述源數(shù)據(jù)記錄對應(yīng)的第一主鍵；

確定所述至少一個(gè)目標(biāo)數(shù)據(jù)記錄分別對應(yīng)的至少一個(gè)第二主鍵中，是否存在與所述第一主鍵相同的目標(biāo)第二主鍵，如果是，根據(jù)所述源數(shù)據(jù)記錄，對所述目標(biāo)數(shù)據(jù)庫中的與所述目標(biāo)第二主鍵相對應(yīng)的目標(biāo)數(shù)據(jù)記錄進(jìn)行更新，否則，將所述第一主鍵對應(yīng)的所述源數(shù)據(jù)記錄插入至所述目標(biāo)數(shù)據(jù)庫中。

優(yōu)選地，

在所述從預(yù)設(shè)的源數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)源數(shù)據(jù)記錄之前，進(jìn)一步包括：

利用kettle的任務(wù)設(shè)計(jì)界面，創(chuàng)建數(shù)據(jù)同步作業(yè)；

所述從預(yù)設(shè)的源數(shù)據(jù)庫中獲取與所述數(shù)據(jù)比對請求相對應(yīng)的至少一個(gè)源數(shù)據(jù)記錄，包括：