[發(fā)明專利]用于數(shù)據(jù)庫的數(shù)據(jù)處理方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810564111.3
• 申請日: 2018-06-04
• 公開（公告）號: CN108920522A
• 公開（公告）日: 2018-11-30
• 發(fā)明（設(shè)計(jì)）人: 許增偉
• 申請（專利權(quán)）人: 上海點(diǎn)融信息科技有限責(zé)任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376
• 代理人: 鐘勝光

本公開內(nèi)容提供了一種用于數(shù)據(jù)庫的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括：確定系統(tǒng)改變號間隔，其中，所述系統(tǒng)改變號間隔在系統(tǒng)改變號起始點(diǎn)和系統(tǒng)改變號結(jié)束點(diǎn)之間；在所述系統(tǒng)改變號間隔內(nèi)執(zhí)行閃回版本查詢，以獲取所述數(shù)據(jù)庫在所述系統(tǒng)改變號間隔內(nèi)的版本記錄，其中，每個(gè)版本記錄均具有相應(yīng)的版本開始系統(tǒng)改變號；以及根據(jù)所述版本開始系統(tǒng)改變號對所述版本記錄進(jìn)行排序以獲得經(jīng)排序的序列。此外，本公開內(nèi)容還提供了一種用于執(zhí)行上述數(shù)據(jù)處理方法的數(shù)據(jù)處理系統(tǒng)以及一種相對應(yīng)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本公開內(nèi)容涉及數(shù)據(jù)庫中的數(shù)據(jù)處理技術(shù)，更為具體地涉及一種用于數(shù)據(jù)庫的數(shù)據(jù)處理方法、一種用于執(zhí)行上述數(shù)據(jù)處理方法的數(shù)據(jù)處理系統(tǒng)以及一種相對應(yīng)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

時(shí)序性就是事件發(fā)生的先后順序。對于數(shù)據(jù)庫來講，事件的最小單元就是事務(wù)(即Transaction)。無論事務(wù)涉及的數(shù)據(jù)量有多大或者參與的表有多少，每提交一個(gè)事務(wù)就會(huì)產(chǎn)生一個(gè)事件。

作為一個(gè)正常的聯(lián)機(jī)事務(wù)處理過程(Online Transaction Processing：OLTP)數(shù)據(jù)庫，可能每時(shí)每刻在每張表上都在發(fā)生事務(wù)性操作。類似于事件溯源(Event Sourcing)機(jī)制，將源庫上的事務(wù)按照發(fā)生的時(shí)間先后順序(也就是事務(wù)的提交順序)依次應(yīng)用在目的庫上是值得期望的，這樣就會(huì)保證源表和目的表數(shù)據(jù)狀態(tài)的一致性和事務(wù)的不可撕裂性。

在現(xiàn)有技術(shù)中，在做數(shù)據(jù)庫的數(shù)據(jù)同步時(shí)，一個(gè)線程負(fù)責(zé)一張表的同步和數(shù)據(jù)處理，各個(gè)線程間互不干涉，也沒有任何聯(lián)系，這樣會(huì)產(chǎn)生一些問題。

假設(shè)有一個(gè)用戶表和一個(gè)用戶投資記錄表，很顯然用戶投資記錄表中有一個(gè)外鍵字段指向用戶表的用戶標(biāo)識符(ID)。如果單純使用每張表/每線程的模式，很可能用戶投資記錄已經(jīng)同步到目的表了，但是用戶表的記錄還沒有同步過去，在目的庫形成“子先于父存在”的情況。這不但讓目的表不能像源表那樣強(qiáng)制添加主外鍵約束，還會(huì)對目的端應(yīng)用層的增量查詢和數(shù)據(jù)匯總造成困擾。如果在同步過程中保持了時(shí)序性，則不會(huì)有此類問題發(fā)生。

此外，出于修正數(shù)據(jù)的需要，假設(shè)源庫在一個(gè)事務(wù)中對多張表做了更新操作，然后提交事務(wù)。作為同步工具，如果不以事務(wù)為單位進(jìn)行同步，將會(huì)使得目的庫上的數(shù)據(jù)是混亂的：某些表的記錄可能已經(jīng)更新成了最新值，某些表可能還是保留原來的值，這是因?yàn)槟愕耐竭M(jìn)程把事務(wù)撕裂了。源庫在歷史上的任何時(shí)刻從來沒有出現(xiàn)過像現(xiàn)在目的庫這樣的數(shù)據(jù)形態(tài)，換句話說，即破壞了源庫數(shù)據(jù)的一致性。同步本身可以有延遲，但是，數(shù)據(jù)不能有不一致。假設(shè)在源庫的事務(wù)中債務(wù)人把錢還給了債權(quán)人，在目的庫的某個(gè)時(shí)刻進(jìn)行匯總查詢，結(jié)果發(fā)現(xiàn)債務(wù)人的錢被扣除了，但是債權(quán)人的賬戶并沒有增加，這就會(huì)產(chǎn)生財(cái)務(wù)系統(tǒng)的嚴(yán)重技術(shù)問題。

發(fā)明內(nèi)容

基于對于以上技術(shù)問題以及技術(shù)現(xiàn)狀的理解，本公開內(nèi)容的發(fā)明人在本公開內(nèi)容的第一方面中提供了一種用于數(shù)據(jù)庫的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括：

確定系統(tǒng)改變號間隔，其中，所述系統(tǒng)改變號間隔在系統(tǒng)改變號起始點(diǎn)和系統(tǒng)改變號結(jié)束點(diǎn)之間；

在所述系統(tǒng)改變號間隔內(nèi)執(zhí)行閃回版本查詢，以獲取所述數(shù)據(jù)庫在所述系統(tǒng)改變號間隔內(nèi)的版本記錄，其中，每個(gè)版本記錄均具有相應(yīng)的版本開始系統(tǒng)改變號；以及

根據(jù)所述版本開始系統(tǒng)改變號對所述版本記錄進(jìn)行排序以獲得經(jīng)排序的序列。

在依據(jù)本公開內(nèi)容的一個(gè)實(shí)施例中，根據(jù)所述版本開始系統(tǒng)改變號對所述版本記錄進(jìn)行排序以獲得經(jīng)排序的序列進(jìn)一步包括：

根據(jù)所述版本開始系統(tǒng)改變號的值對所述版本記錄進(jìn)行排序；

在排序后將具有相同的開始系統(tǒng)改變號的版本記錄組合為一個(gè)事務(wù)；以及

獲得經(jīng)排序的事務(wù)序列。

本公開內(nèi)容的第二方面提供了一種用于數(shù)據(jù)庫的數(shù)據(jù)處理系統(tǒng)，其包括：