[發(fā)明專利]一種跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法

在審

• 申請?zhí)枺?/td>: 201710493890.8
• 申請日: 2017-06-26
• 公開（公告）號: CN107291908A
• 公開（公告）日: 2017-10-24
• 發(fā)明（設(shè)計(jì)）人: 閻磊;馬奉彬
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q30/06
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司37100
• 代理人: 姜明

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)校驗(yàn)技術(shù)領(lǐng)域，特別涉及一種跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法。

背景技術(shù)

當(dāng)前的數(shù)據(jù)對比方法，一般采用兩種方式：

1 直接通過數(shù)據(jù)庫表關(guān)聯(lián)，全表數(shù)據(jù)匹配進(jìn)行數(shù)據(jù)對比；

2 將不同表中數(shù)據(jù)查詢出明細(xì)記錄，通過程序代碼循環(huán)對比。

這兩種方式適用于數(shù)據(jù)量不大的情況，能夠100%準(zhǔn)確的校驗(yàn)數(shù)據(jù)是否一致。但是當(dāng)數(shù)據(jù)量巨大時(shí)，無論是采用數(shù)據(jù)庫直接比較還是程序代碼比較都會(huì)消耗大量資源甚至導(dǎo)致數(shù)據(jù)庫或應(yīng)用服務(wù)器宕機(jī)。

在煙草行業(yè)營銷系統(tǒng)中，存在如下業(yè)務(wù)場景，存在兩個(gè)獨(dú)立的應(yīng)用組件SGP和ECO,兩個(gè)應(yīng)用組件分別對應(yīng)數(shù)據(jù)庫S和數(shù)據(jù)庫E。應(yīng)用組件ECO是外網(wǎng)應(yīng)用，為煙草零售戶提供訂單錄入功能；應(yīng)用組件SGP是內(nèi)網(wǎng)應(yīng)用，通過一系列參考數(shù)據(jù)生成零售戶的可訂貨數(shù)據(jù)，數(shù)據(jù)確認(rèn)無誤后通過dblink和服務(wù)的方式將數(shù)據(jù)庫S的數(shù)據(jù)同步至數(shù)據(jù)庫E。

由于零售戶可訂貨數(shù)據(jù)是關(guān)鍵的業(yè)務(wù)數(shù)據(jù)，需要保證同步結(jié)果的100%準(zhǔn)確。煙草公司在銷商品一般有200左右，零售戶數(shù)量級為萬，這樣每次同步的數(shù)據(jù)是百萬級的數(shù)據(jù)，簡單的采用全表數(shù)據(jù)比較，雖然能保證比較結(jié)果的完全真實(shí)，但是對于跨應(yīng)用，跨數(shù)據(jù)庫的業(yè)務(wù)場景會(huì)存在很大的性能問題。

針對煙草行業(yè)營銷系統(tǒng)中跨應(yīng)用組件SGP和ECO，跨數(shù)據(jù)庫S和數(shù)據(jù)庫E的業(yè)務(wù)場景，本發(fā)明設(shè)計(jì)了一種跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法。

發(fā)明內(nèi)容

本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法。

本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

一種跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法，其特征在于：首先，分別將數(shù)據(jù)庫S和數(shù)據(jù)庫E的數(shù)據(jù)根據(jù)商品分組，并提取每個(gè)商品的關(guān)鍵數(shù)據(jù)；其次，將對比需要的數(shù)據(jù)庫E的數(shù)據(jù)同步至應(yīng)用組件SGP；最后，在應(yīng)用組件SGP對數(shù)據(jù)庫S和數(shù)據(jù)庫E的數(shù)據(jù)按商品分組進(jìn)行逐項(xiàng)對比，若商品分組的每個(gè)商品的關(guān)鍵數(shù)據(jù)都一致，即認(rèn)為商品分組的數(shù)據(jù)一致。

所述商品的關(guān)鍵數(shù)據(jù)包括記錄數(shù)，客戶可訂購量合計(jì)值，客戶可訂購量最大值，客戶可訂購量最小值和隨機(jī)抽取n個(gè)客戶的明細(xì)數(shù)據(jù)。

所述應(yīng)用組件SGP通過調(diào)用應(yīng)用組件ECO提供的煙草零售戶提供訂單錄入功能，將對比需要的數(shù)據(jù)庫E的數(shù)據(jù)同步至應(yīng)用組件SGP。

本發(fā)明的有益效果是：該跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法，將原來全數(shù)據(jù)對比大量數(shù)據(jù)傳輸?shù)哪Ｊ絻?yōu)化為關(guān)鍵數(shù)據(jù)的對比，減少了大量數(shù)據(jù)的傳輸，實(shí)現(xiàn)了跨應(yīng)用、跨數(shù)據(jù)庫的數(shù)據(jù)高效對比，能夠?qū)煵莨疽恢艿挠嗀洸呗缘膶Ρ葧r(shí)間縮短到10秒以內(nèi)。

具體實(shí)施方式

為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合實(shí)施例，對本發(fā)明進(jìn)行詳細(xì)的說明。應(yīng)當(dāng)說明的是，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

該跨數(shù)據(jù)庫海量數(shù)據(jù)對比方法，首先，分別將數(shù)據(jù)庫S和數(shù)據(jù)庫E的數(shù)據(jù)根據(jù)商品分組，并提取每個(gè)商品的關(guān)鍵數(shù)據(jù)；其次，將對比需要的數(shù)據(jù)庫E的數(shù)據(jù)同步至應(yīng)用組件SGP；最后，在應(yīng)用組件SGP對數(shù)據(jù)庫S和數(shù)據(jù)庫E的數(shù)據(jù)按商品分組進(jìn)行逐項(xiàng)對比，若商品分組的每個(gè)商品的關(guān)鍵數(shù)據(jù)都一致，即認(rèn)為商品分組的數(shù)據(jù)一致。

所述商品的關(guān)鍵數(shù)據(jù)包括記錄數(shù)，客戶可訂購量合計(jì)值，客戶可訂購量最大值，客戶可訂購量最小值和隨機(jī)抽取n個(gè)客戶的明細(xì)數(shù)據(jù)。

n為隨機(jī)的自然數(shù)。

所述應(yīng)用組件SGP通過調(diào)用應(yīng)用組件ECO提供的煙草零售戶提供訂單錄入功能，將對比需要的數(shù)據(jù)庫E的數(shù)據(jù)同步至應(yīng)用組件SGP。