[發(fā)明專利]多線程并發(fā)訪問環(huán)境下高性能數(shù)據(jù)處理的實現(xiàn)

在審

• 申請?zhí)枺?/td>: 201310743108.5
• 申請日: 2013-12-30
• 公開（公告）號: CN104750720A
• 公開（公告）日: 2015-07-01
• 發(fā)明（設(shè)計）人: 胡新松;孫戰(zhàn)平;夏智;佟志臣;張興堯;易師
• 申請（專利權(quán)）人: 中國銀聯(lián)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/38
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李湘;湯春龍

發(fā)明領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)，特別涉及一種在多線程并發(fā)訪問環(huán)境下實現(xiàn)高性能數(shù)據(jù)處理的方法和實現(xiàn)該方法的數(shù)據(jù)庫管理系統(tǒng)。

背景技術(shù)

現(xiàn)代信息社會中，信息的重要性不言而喻。信息處理中非常重要的部分是數(shù)據(jù)庫。數(shù)據(jù)集市指的是一種專項數(shù)據(jù)集合，這些數(shù)據(jù)取自一個或多個聯(lián)機交易系統(tǒng)以及其他關(guān)聯(lián)系統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫等各種數(shù)據(jù)源，并且按照特定的業(yè)務(wù)需求進行處理、加工，從而用來分析相關(guān)專門業(yè)務(wù)問題或功能目標。

交易數(shù)據(jù)的實時性獲取和實時數(shù)據(jù)分析對于互聯(lián)網(wǎng)業(yè)務(wù)的運營和風(fēng)險控制具有極其重要的意義，但是在對多個異構(gòu)數(shù)據(jù)源到目標數(shù)據(jù)的高性能抽取存時存在下列技術(shù)難點：

1.不能影響聯(lián)機交易的系統(tǒng)的性能和穩(wěn)定性；

2.在數(shù)據(jù)源具有異構(gòu)性時，如何保持數(shù)據(jù)的完整性和數(shù)據(jù)庫事務(wù)的ACID（原子性、一致性、隔離性和持久性）屬性；以及

3.大數(shù)據(jù)量的并發(fā)處理需保證實時高效性。

在上述幾個方面中，尤以實時高效性更為突出。

發(fā)明內(nèi)容

本發(fā)明的一個目的是提供一種在多線程并發(fā)訪問環(huán)境下的數(shù)據(jù)處理方法，其能夠在保證數(shù)據(jù)完整性的同時高效實時地處理數(shù)據(jù)。

在按照本發(fā)明一個實施例的在多線程并發(fā)訪問環(huán)境下的數(shù)據(jù)處理方法中，對于所述多個線程的每一個，其按照下列方式在高速緩存中批量寫入數(shù)據(jù)：

確定與寫入的數(shù)據(jù)在高速緩存中相關(guān)聯(lián)的存儲位置，所述存儲位置包含鎖定狀態(tài)和解鎖狀態(tài)，以分別表示存在某一線程正對其執(zhí)行寫入操作和未有任何線程對其執(zhí)行寫入操作；

對于每個寫入的數(shù)據(jù)，執(zhí)行下列步驟：

如果與該寫入的數(shù)據(jù)相關(guān)聯(lián)的存儲位置處于解鎖狀態(tài)，則記錄指針的狀態(tài)；

將該相關(guān)聯(lián)的存儲位置置于鎖定狀態(tài)；

如果所述指針的狀態(tài)未發(fā)生變化，則對該相關(guān)聯(lián)的存儲位置執(zhí)行寫入操作，否則，則不執(zhí)行寫入操作并將該相關(guān)聯(lián)的存儲位置置于解鎖狀態(tài)；

在完成所述寫入操作之后，將該相關(guān)聯(lián)的存儲位置置于鎖定狀態(tài)。

優(yōu)選地，在上述數(shù)據(jù)處理方法中，所述寫入的數(shù)據(jù)存儲在所述高速緩存內(nèi)的同步哈希表內(nèi)，所述同步哈希表的每個節(jié)點包括相關(guān)聯(lián)的數(shù)據(jù)、該相關(guān)聯(lián)的數(shù)據(jù)的索引值以及表示解鎖狀態(tài)和鎖定狀態(tài)的標識。

優(yōu)選地，在上述數(shù)據(jù)處理方法中，對于在所述高速緩存中寫入的數(shù)據(jù)，通過定期執(zhí)行下列步驟，將其寫入數(shù)據(jù)源中：

對所述高速緩存中寫入的數(shù)據(jù)按照指定規(guī)則的的順序排序；

將前次執(zhí)行寫入數(shù)據(jù)源操作結(jié)束后發(fā)生更新的數(shù)據(jù)寫入數(shù)據(jù)源中。

優(yōu)選地，在上述數(shù)據(jù)處理方法中，所述數(shù)據(jù)源為異構(gòu)數(shù)據(jù)源。

優(yōu)選地，在上述數(shù)據(jù)處理方法中，所述指針的狀態(tài)指示最近一次被執(zhí)行寫入操作的存儲位置。

本發(fā)明的還有一個目的是提供一種數(shù)據(jù)庫管理系統(tǒng)，其能夠在保證數(shù)據(jù)完整性的同時高效實時地處理數(shù)據(jù)。按照本發(fā)明一個實施例的數(shù)據(jù)庫管理系統(tǒng)，，其能夠在保證數(shù)據(jù)完整性的同時高效實時地處理數(shù)據(jù)。

按照本發(fā)明一個實施例的數(shù)據(jù)庫管理系統(tǒng)包括：

多個數(shù)據(jù)源；

與多個數(shù)據(jù)源相連的數(shù)據(jù)管理器，其包括：

中央處理器；

高速緩存；

I/O設(shè)備，

其中，所述中央處理器被配置為使得多線程的每一個按照下列方式在高速緩存中寫入數(shù)據(jù)：

確定與寫入的數(shù)據(jù)在高速緩存中相關(guān)聯(lián)的存儲位置，所述存儲位置包含鎖定狀態(tài)和解鎖狀態(tài)，以分別表示存在某一線程正對其執(zhí)行寫入操作和未有任何線程對其執(zhí)行寫入操作；

對于每個寫入的數(shù)據(jù)，執(zhí)行下列步驟：

如果與該寫入的數(shù)據(jù)相關(guān)聯(lián)的存儲位置處于解鎖狀態(tài)，則記錄指針的狀態(tài)；

將該相關(guān)聯(lián)的存儲位置置于鎖定狀態(tài)；

如果所述指針的狀態(tài)未發(fā)生變化，則對該相關(guān)聯(lián)的存儲位置執(zhí)行寫入操作，否則，則不執(zhí)行寫入操作并將該相關(guān)聯(lián)的存儲位置置于解鎖狀態(tài)；

在完成所述寫入操作之后，將該相關(guān)聯(lián)的存儲位置置于鎖定狀態(tài)。

附圖說明

從結(jié)合附圖的以下詳細說明中，將會使本發(fā)明的上述和其它目的及優(yōu)點更加完全清楚。

圖1為按照本發(fā)明一個實施例的數(shù)據(jù)庫管理系統(tǒng)的示意圖。

圖2為按照本發(fā)明一個實施例的在高速緩存中讀取變化性較小數(shù)據(jù)的流程圖。

圖3為按照本發(fā)明一個實施例的在高速緩存中寫入變化性較小數(shù)據(jù)的流程圖。

圖4為按照本發(fā)明一個實施例的在多個線程并發(fā)訪問環(huán)境下的數(shù)據(jù)處理方法的流程圖。