[發(fā)明專利]一種數(shù)據(jù)處理方法及設(shè)備

無效

• 申請?zhí)枺?/td>: 201210592999.4
• 申請日: 2012-12-31
• 公開（公告）號(hào): CN103020304A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 何敏華;蔡凌瑋;韋東俊;鄧校鋒;梁柱標(biāo);劉圣杰
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地，涉及一種數(shù)據(jù)處理方法及設(shè)備。

背景技術(shù)

聯(lián)機(jī)數(shù)據(jù)處理按照數(shù)據(jù)處理的時(shí)效性可以分為實(shí)時(shí)更新方式和非實(shí)時(shí)更新方式兩種類型，其中，實(shí)時(shí)更新方式對(duì)應(yīng)的數(shù)據(jù)是對(duì)時(shí)效性要求較高的數(shù)據(jù)，用戶進(jìn)行操作后要立刻在數(shù)據(jù)庫中得到體現(xiàn)，后續(xù)用戶操作必需基于前一次操作得出的結(jié)果，且與數(shù)據(jù)操作先后順序有關(guān)；非實(shí)時(shí)更新方式對(duì)應(yīng)的數(shù)據(jù)是對(duì)時(shí)效性要求不高的數(shù)據(jù)，用戶進(jìn)行操作后不需要立刻在數(shù)據(jù)表中體現(xiàn)，只需在一定的時(shí)間間隔內(nèi)體現(xiàn)即可，后續(xù)各用戶的操作不一定基于前一次操作的結(jié)果。

在大型商業(yè)銀行系統(tǒng)中，由于業(yè)務(wù)處理量巨大，各種系統(tǒng)數(shù)據(jù)在進(jìn)行更新時(shí)會(huì)爭奪系統(tǒng)資源，并且數(shù)據(jù)的更新具有排他性，即數(shù)據(jù)更新時(shí)必須對(duì)數(shù)據(jù)記錄進(jìn)行加鎖閱讀，造成了熱表記錄實(shí)時(shí)更新時(shí)出現(xiàn)瓶頸，例如，銀行業(yè)務(wù)量統(tǒng)計(jì)數(shù)據(jù)在每天業(yè)務(wù)高峰期的8個(gè)小時(shí)內(nèi)需要被更新100萬次，即平均每秒鐘需要被更新34次，若這種數(shù)據(jù)也采用實(shí)時(shí)更新的方式進(jìn)行更新，由于數(shù)據(jù)的更新熱度高，且數(shù)據(jù)更新具有排他性，會(huì)導(dǎo)致聯(lián)機(jī)數(shù)據(jù)處理等待時(shí)間較長，系統(tǒng)運(yùn)行時(shí)間較長影響用戶操作和增加系統(tǒng)運(yùn)行的開銷。因此目前對(duì)于更新熱度高且數(shù)據(jù)更新時(shí)效性要求不高的數(shù)據(jù)（以下簡稱非實(shí)時(shí)更新數(shù)據(jù)），通常按照非實(shí)時(shí)更新方式進(jìn)行處理，即把這部分?jǐn)?shù)據(jù)從所有待處理數(shù)據(jù)中抽離出來進(jìn)行異步操作，以達(dá)到提高聯(lián)機(jī)處理整體運(yùn)行速度的目的。

目前在對(duì)非實(shí)時(shí)更新數(shù)據(jù)的處理方面，存在以下兩種方式：

一種方式是對(duì)待處理數(shù)據(jù)表進(jìn)行全表掃描，從中找出處理狀態(tài)為未處理的記錄并對(duì)其進(jìn)行更新，但是由于每次處理過程都需要全表掃描待處理數(shù)據(jù)表，因此這種方式的處理效率異常低下。

另外一種方式是先確定一個(gè)本次處理過程的時(shí)間范圍，并對(duì)待處理數(shù)據(jù)表中在此時(shí)間范圍內(nèi)的未處理記錄進(jìn)行處理，之后再依次確定后續(xù)的時(shí)間范圍進(jìn)行處理，相比于第一種方式，這種方式雖然提高了處理效率，但是卻使得處于相鄰兩次處理過程時(shí)間范圍臨界點(diǎn)上的某些記錄存在被漏處理的可能。產(chǎn)生漏處理的原因主要是因?yàn)閿?shù)據(jù)記錄的時(shí)間戳與數(shù)據(jù)記錄真正出現(xiàn)在數(shù)據(jù)表上的時(shí)間點(diǎn)之間有一定的時(shí)間差，即：系統(tǒng)在生成數(shù)據(jù)記錄的時(shí)候雖然依據(jù)當(dāng)前時(shí)間為其登記了一個(gè)時(shí)間戳，但是由于隨后還對(duì)該記錄進(jìn)行了其它操作之后才真正插入到數(shù)據(jù)表中，因此數(shù)據(jù)記錄的時(shí)間戳與數(shù)據(jù)記錄真正出現(xiàn)在數(shù)據(jù)表上的時(shí)間點(diǎn)之間存在時(shí)間差，例如圖1所示，一筆待處理的a記錄生成的時(shí)間戳為10:00，新增后由于又執(zhí)行了其它查詢、新增、刪除SQL等操作，直到10:01才對(duì)之前的操作統(tǒng)一做出提交處理，即將a記錄真正寫入到數(shù)據(jù)表中，雖然這個(gè)時(shí)間差非常短，但是對(duì)計(jì)算機(jī)來說，如果本次處理過程的時(shí)間范圍是截止到10:00，則由于a記錄尚未出現(xiàn)在數(shù)據(jù)表中因此沒有被掃描到，下次處理過程對(duì)應(yīng)時(shí)間范圍的起始時(shí)間為“大于10:00”，而該條記錄的時(shí)間戳為10:00又不符合下一次掃描的時(shí)間要求，因此導(dǎo)致a記錄被漏處理；同樣的情況可能會(huì)發(fā)生在若干處于相鄰兩次處理過程時(shí)間范圍臨界點(diǎn)上的數(shù)據(jù)記錄，造成數(shù)據(jù)處理效果非常不理想。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的主要目的在于提供一種數(shù)據(jù)處理方法及設(shè)備，用于解決在異步處理過程中出現(xiàn)待處理記錄遺漏的情況。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，包括：

接收待處理的非實(shí)時(shí)更新數(shù)據(jù)并存儲(chǔ)至待處理數(shù)據(jù)庫表；

根據(jù)上次處理過程的時(shí)間范圍結(jié)束值和預(yù)先設(shè)定的回滾時(shí)間，確定本次處理過程的時(shí)間范圍開始值；

確定本次處理過程的時(shí)間范圍結(jié)束值；

對(duì)所述待處理數(shù)據(jù)庫表中時(shí)間戳位于所述本次處理過程的時(shí)間范圍開始值和時(shí)間范圍結(jié)束值之間的非實(shí)時(shí)更新數(shù)據(jù)進(jìn)行掃描，并查詢其中未被處理的非實(shí)時(shí)更新數(shù)據(jù)；

啟動(dòng)本次處理過程，對(duì)所述查詢到的非實(shí)時(shí)更新數(shù)據(jù)進(jìn)行處理。

優(yōu)選的，所述數(shù)據(jù)處理方法中，所述根據(jù)上次處理過程的時(shí)間范圍結(jié)束值和預(yù)先設(shè)定的回滾時(shí)間，確定本次處理過程的時(shí)間范圍開始值，具體包括：

將所述上次處理過程的時(shí)間范圍結(jié)束值減去所述回滾時(shí)間，得到本次處理過程的時(shí)間范圍開始值。

優(yōu)選的，所述數(shù)據(jù)處理方法中，所述啟動(dòng)本次處理過程之前，還包括：

根據(jù)上次處理過程的結(jié)束時(shí)間和預(yù)先設(shè)定的處理間隔時(shí)間，確定本次處理過程的開始時(shí)間；

在所述本次處理過程的開始時(shí)間啟動(dòng)本次處理過程。

優(yōu)選的，所述數(shù)據(jù)處理方法中，所述根據(jù)上次處理過程的結(jié)束時(shí)間和處理間隔時(shí)間，確定本次處理過程的開始時(shí)間，具體包括：

將所述上次處理過程的結(jié)束時(shí)間加上所述處理間隔時(shí)間，得到本次處理過程的開始時(shí)間。