[發(fā)明專利]一種數(shù)據(jù)庫(kù)處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811257981.2
• 申請(qǐng)日: 2018-10-26
• 公開(kāi)（公告）號(hào): CN109522315B
• 公開(kāi)（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 吳金迎;葉國(guó)華;司孝波;錢津津;杭軍
• 申請(qǐng)（專利權(quán)）人: 蘇寧易購(gòu)集團(tuán)股份有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 顧友

本發(fā)明公開(kāi)了一種數(shù)據(jù)庫(kù)處理方法及系統(tǒng)，所述方法包括以下步驟：S1、清洗加工下發(fā)的新業(yè)務(wù)數(shù)據(jù)，并將所述新業(yè)務(wù)數(shù)據(jù)進(jìn)行分號(hào)段處理；S2、選擇一個(gè)或多個(gè)號(hào)段下的新業(yè)務(wù)數(shù)據(jù)，對(duì)比緩存數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)與所選的新業(yè)務(wù)數(shù)據(jù)，根據(jù)主要變動(dòng)字段下的數(shù)據(jù)是否一致來(lái)判斷所選的新業(yè)務(wù)數(shù)據(jù)中是否存在與所述緩存數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)不一致的數(shù)據(jù)；S3、若存在與所述不一致的數(shù)據(jù)，則標(biāo)記所述不一致的數(shù)據(jù)，并將其存入緩存數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)中。本發(fā)明對(duì)業(yè)務(wù)系統(tǒng)整體的架構(gòu)和設(shè)計(jì)做了調(diào)整，在對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新操作時(shí)，先通過(guò)與緩存數(shù)據(jù)庫(kù)中對(duì)比，實(shí)現(xiàn)預(yù)先過(guò)濾業(yè)務(wù)數(shù)據(jù)，緩解了海量數(shù)據(jù)直接入庫(kù)的壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)庫(kù)處理方法及系統(tǒng)。

背景技術(shù)

隨著計(jì)算機(jī)通訊技術(shù)的發(fā)展，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量越來(lái)越龐大，針對(duì)業(yè)務(wù)系統(tǒng)的海量數(shù)據(jù)備份問(wèn)題也越來(lái)越突出，尤其是將數(shù)據(jù)備份到生產(chǎn)環(huán)境上的數(shù)據(jù)庫(kù)操作，更是一個(gè)比較棘手的問(wèn)題。現(xiàn)有技術(shù)中數(shù)據(jù)庫(kù)的備份操作分為三種：全量備份、增量備份以及差異備份。所謂全量備份就是指對(duì)某一個(gè)時(shí)間點(diǎn)上的所有數(shù)據(jù)或應(yīng)用進(jìn)行的一個(gè)完全拷貝，全量備份利于數(shù)據(jù)的快速恢復(fù)，但由于全量備份會(huì)在數(shù)據(jù)庫(kù)中存入大量的數(shù)據(jù)，這其中可能帶有重復(fù)的數(shù)據(jù)，因此備份時(shí)間較長(zhǎng)。增量備份是指在一次全備份或上一次增量備份后，以后每次的備份只需備份與前一次相比增加或者被修改的文件，增量備份相對(duì)于全量備份需要存入的數(shù)據(jù)量較小，但是不利于數(shù)據(jù)的恢復(fù)。差異備份是指在一次全備份后到進(jìn)行差異備份的這段時(shí)間內(nèi)，只對(duì)那些增加或者修改文件備份，在進(jìn)行恢復(fù)時(shí)，只需對(duì)第一次全量備份和最后一次差異備份進(jìn)行恢復(fù)，差異備份結(jié)合了全量備份易恢復(fù)和備份數(shù)據(jù)量小的優(yōu)點(diǎn)。但是無(wú)論是上述哪種做法均是是將業(yè)務(wù)數(shù)據(jù)采集后直接存入傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，對(duì)于海量數(shù)據(jù)來(lái)說(shuō)耗費(fèi)的入庫(kù)時(shí)間很長(zhǎng)，而且對(duì)于數(shù)據(jù)庫(kù)的IO以及CPU來(lái)說(shuō)壓力都很大，并且存在鎖表的風(fēng)險(xiǎn)。尤其在生產(chǎn)環(huán)境，將海量數(shù)量直接更新到數(shù)據(jù)庫(kù)的方法容易造成數(shù)據(jù)庫(kù)癱瘓，從而影響系統(tǒng)中其它應(yīng)用的運(yùn)行。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明提供了一種數(shù)據(jù)庫(kù)處理方法及系統(tǒng)。所述技術(shù)方案如下：

一方面本發(fā)明提供一種數(shù)據(jù)庫(kù)處理方法，包括以下步驟：

S1、清洗加工下發(fā)的新業(yè)務(wù)數(shù)據(jù)，并將所述新業(yè)務(wù)數(shù)據(jù)進(jìn)行分號(hào)段處理；

S2、選擇一個(gè)或多個(gè)號(hào)段下的新業(yè)務(wù)數(shù)據(jù)，對(duì)比緩存數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)與所選的新業(yè)務(wù)數(shù)據(jù)，根據(jù)主要變動(dòng)字段下的數(shù)據(jù)是否一致來(lái)判斷所選的新業(yè)務(wù)數(shù)據(jù)中是否存在與所述緩存數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)不一致的數(shù)據(jù)；

S3、若存在與所述不一致的數(shù)據(jù)，則標(biāo)記所述不一致的數(shù)據(jù)，并將其存入緩存數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)中。

進(jìn)一步地，在所述步驟S1后還包括：

判斷是否初始化數(shù)據(jù)庫(kù)；

若是，則將所述新業(yè)務(wù)數(shù)據(jù)的號(hào)段與需要初始化業(yè)務(wù)數(shù)據(jù)的號(hào)段進(jìn)行匹配，

若匹配成功，則將所述新業(yè)務(wù)數(shù)據(jù)緩存至所述緩存數(shù)據(jù)庫(kù)中，每個(gè)批次抽取所述緩存數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)號(hào)段下的新業(yè)務(wù)數(shù)據(jù)，分批將所選的新業(yè)務(wù)數(shù)據(jù)存入數(shù)據(jù)庫(kù)，

若匹配不成功，則丟棄所選的新業(yè)務(wù)數(shù)據(jù)；

若否，則執(zhí)行所述步驟S2。

進(jìn)一步地，所述判斷是否初始化數(shù)據(jù)庫(kù)為判斷緩存數(shù)據(jù)庫(kù)中是否存在與新業(yè)務(wù)數(shù)據(jù)的號(hào)段一致的號(hào)段。

進(jìn)一步地，在判斷是否初始化數(shù)據(jù)庫(kù)的結(jié)果為否后還包括：

判斷是否校準(zhǔn)數(shù)據(jù)庫(kù)；

若是，則將所述新業(yè)務(wù)數(shù)據(jù)緩存至所述緩存數(shù)據(jù)庫(kù)中，每個(gè)批次抽取所述緩存數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)號(hào)段下的新業(yè)務(wù)數(shù)據(jù)，分批將所選的新業(yè)務(wù)數(shù)據(jù)存入數(shù)據(jù)庫(kù)；

若否，則執(zhí)行所述步驟S2。