[發(fā)明專利]數(shù)據(jù)管理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310571289.8
• 申請(qǐng)日: 2013-11-13
• 公開(kāi)（公告）號(hào): CN103810237A
• 公開(kāi)（公告）日: 2014-05-21
• 發(fā)明（設(shè)計(jì)）人: J.帕基南;V.T.拉蒂卡;J.K.魯思;P.U.索伊尼;A.沃爾斯基
• 申請(qǐng)（專利權(quán)）人: 國(guó)際商業(yè)機(jī)器公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 張曉明

技術(shù)領(lǐng)域

本公開(kāi)一般涉及數(shù)據(jù)庫(kù)搜索和存儲(chǔ)領(lǐng)域；并且本公開(kāi)尤其涉及通過(guò)使用緩沖器池作為存儲(chǔ)器駐留數(shù)據(jù)的永久存儲(chǔ)器中的存儲(chǔ)（in-memory?storage）的混合表實(shí)施。

背景技術(shù)

很多大型數(shù)據(jù)庫(kù)主要存儲(chǔ)在磁盤上。這些基于磁盤的數(shù)據(jù)庫(kù)經(jīng)常使用緩沖器來(lái)檢索最近存取的數(shù)據(jù)，以提高性能。基于磁盤的數(shù)據(jù)庫(kù)經(jīng)常共享緩沖器空間，以優(yōu)化空間并且提高系統(tǒng)的性能。然而，緩沖器的池化產(chǎn)生當(dāng)發(fā)送或者接收數(shù)據(jù)時(shí)的性能瓶頸，性能瓶頸經(jīng)常由磁盤輸入-輸出（I/O）要求引起。

為了減少這種瓶頸并且避免性能問(wèn)題，有時(shí)使用存儲(chǔ)器中的數(shù)據(jù)庫(kù)。在存儲(chǔ)器中的數(shù)據(jù)庫(kù)中，數(shù)據(jù)的主要位置是在物理或者永久存儲(chǔ)器中。多數(shù)存儲(chǔ)器中的數(shù)據(jù)庫(kù)由存儲(chǔ)器優(yōu)化數(shù)據(jù)結(jié)構(gòu)和存取方法來(lái)特征化。通過(guò)完全從存儲(chǔ)器中而不是轉(zhuǎn)到基于磁盤分類、存儲(chǔ)和檢索指定的數(shù)據(jù)來(lái)大大增強(qiáng)性能。使用存儲(chǔ)器中的數(shù)據(jù)庫(kù)允許在不需要處理提供在代碼路徑中的磁盤I/O瓶頸的問(wèn)題的情況下，執(zhí)行存取請(qǐng)求。然而，使用存儲(chǔ)器中的數(shù)據(jù)庫(kù)方案具有很多權(quán)衡，因?yàn)槊總€(gè)數(shù)據(jù)單元的存儲(chǔ)成本對(duì)于存儲(chǔ)器中的數(shù)據(jù)庫(kù)比對(duì)于磁盤存儲(chǔ)器方案更高。這是因?yàn)楦俪杀镜挠脖P可以替代更多的存儲(chǔ)器。此外，用于存儲(chǔ)器中的數(shù)據(jù)庫(kù)方案的隨機(jī)存取存儲(chǔ)器（RAM）芯片不能夠接近小硬盤驅(qū)動(dòng)器的密度。存儲(chǔ)器中的數(shù)據(jù)庫(kù)的另一個(gè)問(wèn)題是：在一些應(yīng)用中，由于空間約束對(duì)于大型數(shù)據(jù)庫(kù)的挖掘不能保持到存儲(chǔ)器中的存儲(chǔ)。一個(gè)解決方案是使用數(shù)據(jù)庫(kù)的混合搜索索引，該混合搜索索引使用“d”和“m”型的數(shù)據(jù)庫(kù)。

發(fā)明內(nèi)容

實(shí)施例包括數(shù)據(jù)管理的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。在一個(gè)實(shí)施例中，創(chuàng)建數(shù)據(jù)庫(kù)的搜索索引并且該搜索索引具有分別將數(shù)據(jù)與第一存儲(chǔ)器或者第二存儲(chǔ)器中的存儲(chǔ)位置相關(guān)聯(lián)的第一或者第二類型的參考值。響應(yīng)于數(shù)據(jù)檢索請(qǐng)求，使用參考值從第一或者第二存儲(chǔ)器存取數(shù)據(jù)。如果數(shù)據(jù)在第一和第二存儲(chǔ)器存儲(chǔ)之間遷移，則重新計(jì)算并且改變搜索索引參考值。

通過(guò)本公開(kāi)的技術(shù)實(shí)現(xiàn)附加特征和優(yōu)點(diǎn)。這里詳細(xì)描述公開(kāi)的其他實(shí)施例和方法。為了更好地理解具有該優(yōu)點(diǎn)和特征的公開(kāi)，參考描述和附圖。

附圖說(shuō)明

視為本發(fā)明的主題被具體指出并且在說(shuō)明書的結(jié)論處的權(quán)利要求中清楚地要求保護(hù)。結(jié)合附圖考慮，本公開(kāi)的前面和其他特征以及優(yōu)點(diǎn)從下面的詳細(xì)描述中顯而易見(jiàn)，在附圖中：

圖1是根據(jù)實(shí)施例的流程圖示；以及

圖2描繪圖示根據(jù)實(shí)施例的對(duì)數(shù)據(jù)的存儲(chǔ)器存取和緩沖器的框圖。

具體實(shí)施方式

數(shù)據(jù)庫(kù)的混合搜索編索引提供靈活性。混合搜索索引數(shù)據(jù)庫(kù)使用存儲(chǔ)器中的數(shù)據(jù)庫(kù)和基于磁盤的數(shù)據(jù)庫(kù)。在表級(jí)進(jìn)行兩種類型的數(shù)據(jù)位置之間的區(qū)別。表可以表示為存儲(chǔ)器中的表（m-表），其中該表的整個(gè)內(nèi)容存儲(chǔ)在存儲(chǔ)器中，或者替代地，表可以是基于磁盤的（d-表），其中數(shù)據(jù)主要存儲(chǔ)在磁盤上。使用存儲(chǔ)器中的存儲(chǔ)和磁盤存儲(chǔ)二者可以實(shí)現(xiàn)性能和成本之間的平衡。

在多數(shù)數(shù)據(jù)庫(kù)中，表被建立并且用于數(shù)據(jù)檢索。表是被組織為水平行和垂直列的數(shù)據(jù)元素或者值的集合，其具有在行和列交叉處的多個(gè)單元。常規(guī)地，表具有規(guī)定數(shù)量的列和任何數(shù)量的行。每個(gè)行由這樣的值標(biāo)識(shí)，該值出現(xiàn)在已經(jīng)被標(biāo)識(shí)為唯一鍵索引的特定列子集合中。為了改進(jìn)數(shù)據(jù)檢索操作的速度，使用數(shù)據(jù)庫(kù)索引?？梢允褂脭?shù)據(jù)庫(kù)表的一個(gè)或者多個(gè)列來(lái)創(chuàng)建索引，以提供快速隨機(jī)查找和順序記錄的有效存取二者的基礎(chǔ)。

使用單一設(shè)置中的兩種不同數(shù)據(jù)庫(kù)類型的二分法造成當(dāng)使用混合搜索編索引時(shí)仍然造成挑戰(zhàn)，因?yàn)檫@些數(shù)據(jù)庫(kù)具有不同要求。一種可能的解決方案提供其中新索引層壓在另一個(gè)的頂部上（獨(dú)立的m-部分和d-部分索引）的方案。但是這個(gè)解決方案還可能效率低，因?yàn)楫?dāng)正在存取數(shù)據(jù)時(shí)其強(qiáng)加兩個(gè)獨(dú)立表的m-部分和d-部分之間的連續(xù)切換。這可能變得資源密集并且耗費(fèi)時(shí)間。此外，這種索引可能具有可以證明為對(duì)于多數(shù)存儲(chǔ)器中的可用存儲(chǔ)過(guò)大的足跡要求。

圖1示出其中使用優(yōu)化資源和搜索時(shí)間的混合數(shù)據(jù)庫(kù)的一個(gè)實(shí)施例的流程圖。如圖1中所示，雖然使用兩種類型的存儲(chǔ)器（諸如在一個(gè)實(shí)施例中，磁盤存儲(chǔ)存儲(chǔ)器和存儲(chǔ)器中），但是恒定切換不是必要的，因?yàn)槭褂脜⒖贾岛途彌_器池的組合允許標(biāo)識(shí)磁盤存儲(chǔ)或者存儲(chǔ)器中的存儲(chǔ)中數(shù)據(jù)的存儲(chǔ)。通過(guò)參考圖2，可以更好地理解對(duì)緩沖器池和磁盤和/或存儲(chǔ)器中的存儲(chǔ)的存取。