[發(fā)明專利]一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法

有效

• 申請?zhí)枺?/td>: 201310415322.8
• 申請日: 2013-09-12
• 公開（公告）號: CN103458044A
• 公開（公告）日: 2013-12-18
• 發(fā)明（設(shè)計(jì)）人: 肖利民;鐘潛潛;阮利;郝沁汾
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京金恒聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所 11324
• 代理人: 李強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明公開了一種元數(shù)據(jù)共享管理方法，尤其涉及一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)

集群是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)與計(jì)算機(jī)系統(tǒng)軟件相結(jié)合的一個(gè)重要研究方向。它通過將多個(gè)獨(dú)立的機(jī)器組織成一個(gè)統(tǒng)一的整體，并對外提供透明的統(tǒng)一訪問特性；通過整合多個(gè)所管轄機(jī)器節(jié)點(diǎn)的計(jì)算能力和存儲能力，極大地?cái)U(kuò)展了整體系統(tǒng)的運(yùn)算能力和存儲能力；同時(shí)，良好的系統(tǒng)軟件設(shè)計(jì)使得集群能夠很容易地進(jìn)行大規(guī)模擴(kuò)展，能滿足多樣化的規(guī)模伸縮性需求，通過多副本技術(shù)，集群能提供極高的容錯(cuò)性能，滿足對可靠性要求較高的行業(yè)和應(yīng)用需求。

計(jì)算機(jī)集群技術(shù)的興起主要是由于傳統(tǒng)的HPC（高性能計(jì)算機(jī)）系統(tǒng)價(jià)格昂貴且性能瓶頸嚴(yán)重所致。到了20世紀(jì)80年代后期，HPC單機(jī)性能的增長速度已經(jīng)乏力，但普通PC（個(gè)人計(jì)算機(jī)）性能卻在不斷提高，這讓PC服務(wù)器的計(jì)算和存儲能力開始受到重視。到了20世紀(jì)90年代，隨著以x86架構(gòu)為主的CPU硬件性價(jià)比提升以及高速以太網(wǎng)的發(fā)展，第一個(gè)用普通PC服務(wù)器構(gòu)成的計(jì)算機(jī)集群Beowulf誕生，這標(biāo)志著可以達(dá)到跟HPC同樣計(jì)算和存儲性能的計(jì)算機(jī)集群系統(tǒng)成本確只有前者的百分之一甚至千分之一。集群的出現(xiàn)極大改變了HPC領(lǐng)域的研究狀況，也極大地降低了商業(yè)公司使用高性能計(jì)算機(jī)的門檻。今年來，隨著網(wǎng)格計(jì)算、分布式計(jì)算以及云存儲技術(shù)的發(fā)展，計(jì)算機(jī)集群技術(shù)在商業(yè)應(yīng)用上的優(yōu)勢變得越發(fā)明顯。計(jì)算機(jī)集群答復(fù)提高了企業(yè)基礎(chǔ)設(shè)施的擴(kuò)展性、可靠性和高性能計(jì)算和存儲能力。其概念已經(jīng)深入到企業(yè)甚至每個(gè)人的日常的工作與生活中，成為了目前全球軟硬件產(chǎn)業(yè)中發(fā)展最快的技術(shù)之一。

表1

最近幾年，不論是政府、企業(yè)還是個(gè)人團(tuán)體都已經(jīng)著手建造屬于他們自己的計(jì)算機(jī)集群系統(tǒng)。但另一方面，隨著計(jì)算機(jī)集群數(shù)量的增加，人們對這些計(jì)算機(jī)集群提出了更高的需求。他們不僅希望這些集群自身具有良好的計(jì)算、存儲、容錯(cuò)和可擴(kuò)展能力，而且還希望這些集群之間能夠相互協(xié)調(diào)合作，組成一個(gè)更大龐大的區(qū)域性甚至是全球性系統(tǒng)。然而，通過對當(dāng)前各個(gè)主流的分布式集群的對比（表1）可以看出，目前除了Google公司自家研發(fā)使用的Spanner系統(tǒng)和IBM公司研發(fā)的GPFS?v3.5之外，其它系統(tǒng)都還不支持多集群間的交互和協(xié)作，這使得廣域網(wǎng)環(huán)境下多集群管理面臨嚴(yán)重的技術(shù)挑戰(zhàn)。如無良好的上層系統(tǒng)軟件的支持，這將給各大政府、企業(yè)和個(gè)人對多集群的進(jìn)一步廣泛應(yīng)用帶來巨大的阻力。而大型互聯(lián)網(wǎng)公司若想提供更優(yōu)質(zhì)的大規(guī)模應(yīng)用服務(wù)，尤其是涉及海量數(shù)據(jù)存儲與管理的應(yīng)用，突破廣域網(wǎng)環(huán)境下多集群管理的技術(shù)刻不容緩。

現(xiàn)在國內(nèi)外大量公司和機(jī)構(gòu)廣域網(wǎng)下多集群數(shù)據(jù)共享的研究也形成了不少成果和產(chǎn)品。2006年美國加州大學(xué)Santa?Cruz分校提出Ceph分布式文件系統(tǒng)，它采用元數(shù)據(jù)與數(shù)據(jù)分離的管理方式，同時(shí)采用元數(shù)據(jù)集群來管理整個(gè)文件系統(tǒng)名字空間，消除了單點(diǎn)失敗和單點(diǎn)性能瓶頸。理論上說，Ceph系統(tǒng)的擴(kuò)展性可以是到達(dá)任意多個(gè)節(jié)點(diǎn)。但它不能支持廣域網(wǎng)下多集群的管理。2012年Google發(fā)表了一篇論文講述它的全球級集群管理系統(tǒng)Spanner。這個(gè)系統(tǒng)提供了多版本文件控制以支持并發(fā)操作，元數(shù)據(jù)管理采用層次式管理模式，即一個(gè)總服務(wù)器監(jiān)控各大數(shù)據(jù)中心級（論文里稱為Zone）的狀態(tài)，Zone的總服務(wù)器負(fù)責(zé)管理下屬多個(gè)集群的狀態(tài)，最后集群再負(fù)責(zé)自身的元數(shù)據(jù)管理。但是，Spanner不支持其它拓?fù)漕愋偷脑獢?shù)據(jù)管理模式，且無法提供用戶可配置的視圖的自動生成器。也是2012年，IBM推出了改進(jìn)后的新版本GPFS?v3.5，其中實(shí)現(xiàn)了一個(gè)叫AFM（Active?File?Management）的特性，支持在廣域網(wǎng)下的GPFS集群間建立緩存映射，映射的粒度可以是任一文件集合。但是它依然不支持多集群間用戶可配置視圖的生成，另外緩存與遠(yuǎn)程系統(tǒng)的異步同步管理和一致性問題也會帶來不小的性能開銷。國內(nèi)目前還沒有面向廣域網(wǎng)下多集群系統(tǒng)平臺全局同步且支持動態(tài)可配置用戶視圖生成的相關(guān)方案。

總結(jié)現(xiàn)有研究結(jié)果和實(shí)現(xiàn)系統(tǒng)來看，現(xiàn)有的研究和發(fā)明存在如下趨勢和問題：在體系結(jié)構(gòu)上，大部分系統(tǒng)都采用中央元數(shù)據(jù)節(jié)點(diǎn)或集群的方式來管理元數(shù)據(jù)的關(guān)鍵技術(shù)發(fā)明，在支持特性上，針對數(shù)據(jù)共享的應(yīng)用偏多。計(jì)算機(jī)集群技術(shù)在80年代提出，在90年代得到發(fā)展，到了21世紀(jì)后達(dá)到發(fā)展的盛世，計(jì)算和存儲規(guī)模都極具擴(kuò)大，但每一個(gè)階段的跨越都與新型的數(shù)據(jù)或元數(shù)據(jù)共享技術(shù)密切相關(guān)。而在廣域網(wǎng)環(huán)境下多集群系統(tǒng)的元數(shù)據(jù)共享關(guān)鍵技術(shù)的研發(fā)和發(fā)明還很缺乏。

發(fā)明內(nèi)容