[發(fā)明專利]一種實現(xiàn)分布式共享數(shù)據(jù)庫的方法

有效

• 申請?zhí)枺?/td>: 201310579262.3
• 申請日: 2013-11-18
• 公開（公告）號: CN103595799B
• 公開（公告）日: 2017-01-04
• 發(fā)明（設(shè)計）人: 馬立斌;劉振義
• 申請（專利權(quán)）人: 北京中創(chuàng)信測科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京慶峰財智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11417
• 代理人: 劉元霞

技術(shù)領(lǐng)域

本發(fā)明涉及電子信息及計算機領(lǐng)域，特別涉及一種實現(xiàn)分布式共享數(shù)據(jù)庫的方法。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，IT系統(tǒng)要處理和存儲的數(shù)據(jù)越來越大。因此，需要不斷擴充硬件資源，同時性能還要保持不變或線性提升。從存儲的角度，數(shù)據(jù)庫可分為共享式（share?disk）和非共享式（share?nothing）兩種。共享式，是指存儲共享，不管一個數(shù)據(jù)庫集群有多少個運算節(jié)點（服務(wù)器），存儲必須是集中式的、且能被所有節(jié)點并行讀寫，典型的就是磁盤陣列。非共享式，就是分布式，其存儲分布在多個節(jié)點上，每個節(jié)點獨享本機存儲。

傳統(tǒng)商業(yè)數(shù)據(jù)庫（oracle、sybase、db2等）基本都是共享式架構(gòu)的，都是基于小型機+磁盤陣列模式的。近幾年，隨著云技術(shù)的成熟，分布式并行數(shù)據(jù)庫得到廣泛應(yīng)用。分布式并行數(shù)據(jù)庫就是非共享架構(gòu)的數(shù)據(jù)庫，是基于PC服務(wù)器+本地磁盤的。通過大量應(yīng)用的驗證，這種新興的分布式、非共享架構(gòu)確實存在很多優(yōu)勢：

1.低成本。其運行在廉價的PC服務(wù)器上，采用普通的以太網(wǎng)組網(wǎng)，使用本地SATA盤。

2.穩(wěn)定、高可用、無單點故障。由于硬件價格低廉，可以采用硬件冗余、故障切換機制。

3.可線性擴展。通過增加硬件，即可平滑升級、提升容量及處理能力。

4.性能。采用分布式并行計算，充分利用所有硬件資源，獲得最高性能。

5.負載均衡。多個節(jié)點均勻地承擔存儲和查詢?nèi)蝿?wù)。

不過，目前的這些分布式數(shù)據(jù)庫（Hadoop/GreenPlum/MySql?Cluster/等等）也存在一些問題，

1，功能完善性。對復雜SQL、存儲過程、數(shù)據(jù)分析挖掘算法的支持；標準的訪問接口支持等。

2，應(yīng)用難度大。部署簡單、快捷，但后期維護、開發(fā)成本較高；新技術(shù)，缺乏標準接口和規(guī)范，與傳統(tǒng)數(shù)據(jù)庫存在差別，這些都影響應(yīng)用推廣。

3，應(yīng)用場景限制。通常只針對OLAP場景，甚至只針對簡單檢索，連復雜的統(tǒng)計分析都無法支持，往往還要借助傳統(tǒng)數(shù)據(jù)庫。

4，成熟度。應(yīng)用范圍有些，很多極端情況還存在問題。

5，性能。性能與應(yīng)用緊密相關(guān)，比如Hadoop，只適合按主鍵的檢索應(yīng)用，可能連模糊查詢都很難實現(xiàn)，通常只適合類似互聯(lián)網(wǎng)搜索的應(yīng)用場景，其它場景性能很差；通常采用MAP/REDUCE代碼來實現(xiàn)查詢?nèi)蝿?wù)，任務(wù)執(zhí)行有一定順序，必須前一個任務(wù)結(jié)束后才啟動后續(xù)任務(wù)，存在短板、瓶頸；而且性能與設(shè)備數(shù)量有關(guān)，必須有足夠硬件才能發(fā)揮性能。

由于這些問題的存在，部分用戶就不愿意把傳統(tǒng)共享式數(shù)據(jù)庫的成熟應(yīng)用遷移到新興的分布式數(shù)據(jù)庫上，因為移植工作量大、難度也大、功能還不完善、性能也未必提升。但是，如果繼續(xù)使用共享數(shù)據(jù)庫，就面臨成本高、升級擴展能力弱、存在單點故障、性能瓶頸等問題。原因很明顯，集中共享式數(shù)據(jù)庫都運行在小型機+磁盤陣列的環(huán)境下，成本超高，很少做冗余，擴展也很麻煩。通常，要升級/擴容就只能重新建設(shè)、丟棄歷史數(shù)據(jù)。

鑒于上述情況，就有了在分布式環(huán)境下運行集中共享數(shù)據(jù)庫的需求，也就是把傳統(tǒng)數(shù)據(jù)庫運行在PC服務(wù)器+本地磁盤的分布式環(huán)境下，這樣即節(jié)省成本，又可延用傳統(tǒng)應(yīng)用。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中存在的問題，本發(fā)明目的在于提供一種實現(xiàn)分布式共享數(shù)據(jù)庫的方法，從而在分布式環(huán)境下運行共享式數(shù)據(jù)庫，并達到非共享數(shù)據(jù)庫（Hadoop/GreenPlum/等）的分布式效果（云效果），而且較非共享數(shù)據(jù)庫更易用、更簡單、提供更全面的數(shù)據(jù)庫功能、綜合性能更高、性價比更高。

根據(jù)本發(fā)明的一個方面，提供了一種實現(xiàn)分布式共享數(shù)據(jù)庫的方法，其特征在于：

使用本地自帶磁盤的PC機作為網(wǎng)絡(luò)節(jié)點，多個網(wǎng)絡(luò)節(jié)點組成容錯組，多個容錯組組成集群；

容錯組內(nèi)不同網(wǎng)絡(luò)節(jié)點的磁盤進行網(wǎng)絡(luò)鏡像；

把磁盤通過iscsi共享到網(wǎng)絡(luò)中，生成iscsi設(shè)備；

每個網(wǎng)絡(luò)節(jié)點掛接所有iscsi設(shè)備；

在每個網(wǎng)絡(luò)節(jié)點上，利用多路徑技術(shù)，把互為鏡像的iscsi設(shè)備綁定成一個multipath設(shè)備；

把multipath設(shè)備轉(zhuǎn)換成塊設(shè)備；

在塊設(shè)備上創(chuàng)建數(shù)據(jù)庫，把所有塊設(shè)備分配給數(shù)據(jù)庫。

優(yōu)選的，所述數(shù)據(jù)庫將查詢?nèi)蝿?wù)通過負載均衡均勻地分配到每個網(wǎng)絡(luò)節(jié)點上。

優(yōu)選的，在任何網(wǎng)絡(luò)節(jié)點出現(xiàn)故障時，集群管理軟件執(zhí)行切換，將任務(wù)轉(zhuǎn)移到其容錯組內(nèi)的鏡像網(wǎng)絡(luò)節(jié)點上執(zhí)行。