[發(fā)明專利]比較方法和比較系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610982301.8
• 申請(qǐng)日: 2016-11-08
• 公開(kāi)（公告）號(hào): CN108062325A
• 公開(kāi)（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 馮闖
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京成創(chuàng)同維知識(shí)產(chǎn)權(quán)代理有限公司 11449
• 代理人: 蔡純;張靖琳

本發(fā)明實(shí)施例提供一種比較方法，用于比較第一數(shù)據(jù)庫(kù)表和第二數(shù)據(jù)庫(kù)表的數(shù)據(jù)差異，包括：根據(jù)第一數(shù)據(jù)庫(kù)表生成第一集合；根據(jù)第二數(shù)據(jù)庫(kù)表生成第二集合；以及通過(guò)計(jì)算所述第一集合和所述第二集合的差集，從而獲取第一數(shù)據(jù)庫(kù)表和第二數(shù)據(jù)庫(kù)表的差異數(shù)據(jù)。該比較方法通過(guò)將數(shù)據(jù)庫(kù)表的數(shù)據(jù)轉(zhuǎn)換為集合進(jìn)行比較，由于不需要頻繁地訪問(wèn)數(shù)據(jù)庫(kù)，不需要逐行逐列進(jìn)行比較，從而提高了比較效率。本發(fā)明實(shí)施例同時(shí)提供一種比較系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)研發(fā)領(lǐng)域，具體涉及一種比較方法和比較系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性對(duì)于用戶顯得尤為重要，所以重要數(shù)據(jù)與相關(guān)數(shù)據(jù)比對(duì)，也成為很多應(yīng)用系統(tǒng)的必備功能。但是，由于傳統(tǒng)業(yè)務(wù)數(shù)據(jù)對(duì)比方法效率較低，且對(duì)數(shù)據(jù)庫(kù)性能影響較大，所以需要一種快速對(duì)比方法查找出數(shù)據(jù)的差集異。

如圖1所示，現(xiàn)有技術(shù)的比較兩個(gè)數(shù)據(jù)庫(kù)表數(shù)據(jù)的方法包括以下步驟。

1.從本系統(tǒng)或其他系統(tǒng)抽取需比對(duì)的兩份數(shù)據(jù)；

2.將查詢到的數(shù)據(jù)保存到兩個(gè)數(shù)據(jù)庫(kù)表中，將將作為比對(duì)基準(zhǔn)數(shù)據(jù)庫(kù)表稱為主數(shù)據(jù)表，另一張表成為從數(shù)據(jù)表；

3.從主從數(shù)據(jù)表中分別讀取數(shù)據(jù)，并保存到服務(wù)器的內(nèi)存里；

4.在內(nèi)存中逐條比對(duì)數(shù)據(jù)，獲得比對(duì)結(jié)果；

5.根據(jù)比對(duì)結(jié)果標(biāo)記主從表的差集異記錄。

上述的比對(duì)方法效率需要逐行逐列比對(duì)兩個(gè)數(shù)據(jù)庫(kù)表的數(shù)據(jù)，執(zhí)行效率較低，尤其是在主從表的數(shù)據(jù)量比較大的情況下，需要花費(fèi)大量的時(shí)間。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種比較方法和比較系統(tǒng)，用于比較數(shù)據(jù)庫(kù)表的數(shù)據(jù)，以提高兩個(gè)數(shù)據(jù)庫(kù)表的比對(duì)效率。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種比較方法，用于比較第一數(shù)據(jù)庫(kù)表和第二數(shù)據(jù)庫(kù)表的數(shù)據(jù)差異，包括：

根據(jù)第一數(shù)據(jù)庫(kù)表生成第一集合；

根據(jù)第二數(shù)據(jù)庫(kù)表生成第二集合；以及

通過(guò)計(jì)算所述第一集合和所述第二集合的差集，從而獲取第一數(shù)據(jù)庫(kù)表和第二數(shù)據(jù)庫(kù)表的差異數(shù)據(jù)。

可選地，所述根據(jù)所述第一數(shù)據(jù)庫(kù)表生成第一集合包括：

從所述第一數(shù)據(jù)庫(kù)表中選取至少一列的數(shù)據(jù)，按行拼接成一列第一字符串，所述一列第一字符串的每個(gè)第一字符串組成所述第一集合；

所述根據(jù)第二數(shù)據(jù)庫(kù)表生成第二集合包括：

從所述第二數(shù)據(jù)庫(kù)表中選取至少一列的數(shù)據(jù)，按行拼接成一列第二字符串，所述一列第二字符串的每個(gè)第二字符串組成所述第二集合。

可選地，所述第一數(shù)據(jù)庫(kù)表和所述第二數(shù)據(jù)庫(kù)表為主從表。

可選地，所述從所述第一數(shù)據(jù)庫(kù)表中選取至少一列的數(shù)據(jù)包括：從所述第一數(shù)據(jù)庫(kù)表中選取至少主鍵列的數(shù)據(jù)，

所述從所述第二數(shù)據(jù)庫(kù)表中選取至少一列的數(shù)據(jù)包括：從所述第二數(shù)據(jù)庫(kù)表中選取至少外鍵列的數(shù)據(jù)。

可選地，還包括：

根據(jù)所述差集包含的第一字符串，逐一標(biāo)記所述第一數(shù)據(jù)庫(kù)表的對(duì)應(yīng)行。

可選地，所述第一集合和所述第二集合通過(guò)Hash表存儲(chǔ)，通過(guò)Hash算法計(jì)算所述第一集合和所述第二集合的差集。

可選地，所述第一集合和所述第二集合為Redis的Set集；所述計(jì)算所述第一集合和所述第二集合的差集為：通過(guò)Redis的Sdiff命令計(jì)算所述第一集合和所述第二集合的差集。

可選地，所述第一數(shù)據(jù)庫(kù)表和第二數(shù)據(jù)庫(kù)表是關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)表。