[發(fā)明專利]面向海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)異步復(fù)制方法

有效

• 申請?zhí)枺?/td>: 201210039678.1
• 申請日: 2012-02-21
• 公開（公告）號(hào): CN102622284A
• 公開（公告）日: 2012-08-01
• 發(fā)明（設(shè)計(jì)）人: 李小勇;閆鶴;胡鵬;戰(zhàn)科宇;王皓;田怡萌
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14
• 代理公司: 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 趙志遠(yuǎn)

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)復(fù)制方法，尤其是涉及一種面向海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)異步復(fù)制方法。

背景技術(shù)

海量存儲(chǔ)系統(tǒng)是一種能夠?qū)Υ笕萘繑?shù)據(jù)進(jìn)行存儲(chǔ)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。目前海量存儲(chǔ)系統(tǒng)為了獲得更大的容量和更高的性能，往往采用分布式系統(tǒng)架構(gòu)。其中一種典型架構(gòu)是一個(gè)管理服務(wù)器，多個(gè)數(shù)據(jù)服務(wù)器，多個(gè)客戶機(jī)。文件被分割成相同大小的數(shù)據(jù)塊，數(shù)據(jù)塊保存在數(shù)據(jù)服務(wù)器上。管理服務(wù)器上存儲(chǔ)著系統(tǒng)的名字空間，文件的元數(shù)據(jù)，文件與數(shù)據(jù)塊的映射關(guān)系等信息。客戶機(jī)與管理服務(wù)器進(jìn)行元數(shù)據(jù)交互，與數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)交互。

海量存儲(chǔ)系統(tǒng)里擁有大量的存儲(chǔ)設(shè)備，因此可以認(rèn)為存儲(chǔ)設(shè)備出現(xiàn)故障是經(jīng)常發(fā)生的情況。為了系統(tǒng)的高可用性，對(duì)于一個(gè)數(shù)據(jù)塊要保存多份副本，并且盡量存放在不同的數(shù)據(jù)服務(wù)器上。在進(jìn)行寫操作時(shí)，由于要將數(shù)據(jù)寫入多份副本，寫操作的效率成為一個(gè)問題。

經(jīng)過對(duì)現(xiàn)有文獻(xiàn)檢索發(fā)現(xiàn)，《The?Google?File?System(Google文件系統(tǒng))》里提出了一種數(shù)據(jù)同步復(fù)制的方法。Google文件系統(tǒng)(GFS)采用的是上文提到的海量存儲(chǔ)系統(tǒng)的典型架構(gòu)，它將文件分成64MB的數(shù)據(jù)塊(Chunk)進(jìn)行存儲(chǔ)?？蛻魴C(jī)對(duì)一個(gè)Chunk進(jìn)行寫操作，必須要等到該Chunk的所有副本都完成了寫操作之后，才向客戶機(jī)返回寫操作成功的信息。這種方法雖然概念上簡單易行，但是該方法每次寫操作都要立即對(duì)所有副本進(jìn)行寫入，降低了寫操作的效率，特別是當(dāng)副本數(shù)目比較多的時(shí)候，會(huì)嚴(yán)重影響寫操作執(zhí)行速度。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種復(fù)制效率高的面向海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)異步復(fù)制方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種面向海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)異步復(fù)制方法，其特征在于，包括以下步驟：

第一步，客戶機(jī)向管理服務(wù)器查詢擁有數(shù)據(jù)塊寫租約的數(shù)據(jù)服務(wù)器信息；

第二步，管理服務(wù)器接收到查詢請求后，執(zhí)行寫租約的查詢與分配操作；

第三步，客戶機(jī)接收到擁有寫租約的數(shù)據(jù)服務(wù)器信息后，向其發(fā)送寫請求，數(shù)據(jù)服務(wù)器接收到寫請求后，將數(shù)據(jù)寫入到對(duì)應(yīng)的副本，并將副本的版本號(hào)加一，向客戶機(jī)返回寫操作成功信息，向管理服務(wù)器的異步復(fù)制隊(duì)列添加新任務(wù)；

第四步，管理服務(wù)器周期性地從異步復(fù)制隊(duì)列里取任務(wù)，將任務(wù)分配給低版本號(hào)的副本所在的數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器進(jìn)行副本的復(fù)制操作；

第五步，數(shù)據(jù)服務(wù)器通知管理服務(wù)器已經(jīng)完成了副本復(fù)制任務(wù)，管理服務(wù)器將該任務(wù)從異步復(fù)制隊(duì)列里刪除，然后執(zhí)行異步復(fù)制隊(duì)列里的下一個(gè)任務(wù)。

所述的步驟二的寫租約的查詢與分配操作具體為：

21)管理服務(wù)器查找是否有數(shù)據(jù)服務(wù)器擁有數(shù)據(jù)塊的寫租約，如果發(fā)現(xiàn)有數(shù)據(jù)服務(wù)器擁有數(shù)據(jù)塊的寫租約，將擁有寫租約的數(shù)據(jù)服務(wù)器信息返回給客戶機(jī)，結(jié)束寫租約的查詢與分配操作，否則執(zhí)行22)；

22)管理服務(wù)器查找是否有數(shù)據(jù)服務(wù)器擁有數(shù)據(jù)塊的讀租約，如果發(fā)現(xiàn)有數(shù)據(jù)服務(wù)器擁有數(shù)據(jù)塊的讀租約，根據(jù)讀寫租約的互斥性，通知客戶機(jī)無法取得數(shù)據(jù)塊的寫租約，結(jié)束寫租約的查詢與分配操作，否則執(zhí)行23)；

23)管理服務(wù)器查看數(shù)據(jù)塊的副本信息表，查找版本號(hào)最高的副本，如果版本號(hào)最高的副本有多個(gè)，就選擇其中任意一個(gè)；

24)管理服務(wù)器查看版本號(hào)最高的副本所在的數(shù)據(jù)服務(wù)器，將數(shù)據(jù)塊的寫租約分配給該數(shù)據(jù)服務(wù)器，并將擁有寫租約的數(shù)據(jù)服務(wù)器信息返回給客戶機(jī)。

所述的步驟四中的副本的復(fù)制操作具體如下：

41)數(shù)據(jù)服務(wù)器查看自己是否擁有數(shù)據(jù)塊的讀租約，如果是的話則執(zhí)行43)，否則執(zhí)行42)；

42)數(shù)據(jù)服務(wù)器向管理服務(wù)器申請數(shù)據(jù)塊的讀租約，管理服務(wù)器接收到請求后，查看數(shù)據(jù)塊的寫租約是否被持有，如果是的話則將復(fù)制任務(wù)加入到異步復(fù)制隊(duì)列尾部，回復(fù)數(shù)據(jù)服務(wù)器申請讀租約失敗，結(jié)束該副本的復(fù)制操作；否則管理服務(wù)器將讀租約分配給數(shù)據(jù)服務(wù)器，并執(zhí)行步驟43)；

43)數(shù)據(jù)服務(wù)器向高版本號(hào)副本所在的數(shù)據(jù)服務(wù)器發(fā)送讀請求，高版本號(hào)副本所在的數(shù)據(jù)服務(wù)器接收到請求后，將數(shù)據(jù)和版本號(hào)傳遞給發(fā)送請求的數(shù)據(jù)服務(wù)器；

44)數(shù)據(jù)服務(wù)器將接收到的數(shù)據(jù)寫入本機(jī)的數(shù)據(jù)塊副本里，數(shù)據(jù)寫入完畢后將版本號(hào)升級(jí)到與高版本號(hào)副本相同。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

在對(duì)擁有多份副本的數(shù)據(jù)塊進(jìn)行寫操作時(shí)，只需要對(duì)其中一個(gè)副本寫入成功就立即返回寫成功，其他副本的寫入采用數(shù)據(jù)異步復(fù)制方法，從而提高了寫操作的效率。

附圖說明