[發(fā)明專利]一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201310552010.1
• 申請(qǐng)日: 2013-11-08
• 公開（公告）號(hào): CN103546580A
• 公開（公告）日: 2014-01-29
• 發(fā)明（設(shè)計(jì)）人: 陸月明;楊宇
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法，以提高分布式文件系統(tǒng)中寫文件的速度，屬于計(jì)算機(jī)科學(xué)與技術(shù)領(lǐng)域。

背景技術(shù)

隨著云時(shí)代的到來，每天互聯(lián)網(wǎng)上都會(huì)產(chǎn)生數(shù)以億計(jì)的數(shù)據(jù)，這種數(shù)量級(jí)的數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)超出了一臺(tái)計(jì)算機(jī)的存儲(chǔ)能力和處理能力。分布式存儲(chǔ)系統(tǒng)因?yàn)榫哂泻Ａ繑?shù)據(jù)存儲(chǔ)、高擴(kuò)展性、高性能、高可靠性、高可用性的特點(diǎn)，目前正被作為企業(yè)海量數(shù)據(jù)存儲(chǔ)方案被業(yè)界所廣泛討論和應(yīng)用。文件包含元數(shù)據(jù)和數(shù)據(jù)兩部分。元數(shù)據(jù)包括文件名字、大小、訪問權(quán)限和數(shù)據(jù)存儲(chǔ)位置等屬性信息。數(shù)據(jù)是真正的文件內(nèi)容。分布式文件系統(tǒng)采用元數(shù)據(jù)和數(shù)據(jù)分離的存儲(chǔ)方式，元數(shù)據(jù)服務(wù)器存放元數(shù)據(jù)，數(shù)據(jù)服務(wù)器機(jī)群存放數(shù)據(jù)。

分布式文件系統(tǒng)采用多文件副本的方式存儲(chǔ)文件，即一個(gè)文件的數(shù)據(jù)擁有多個(gè)文件副本，分別存儲(chǔ)在不同數(shù)據(jù)服務(wù)器里。當(dāng)一臺(tái)或多臺(tái)數(shù)據(jù)服務(wù)器意外宕機(jī)時(shí)，這個(gè)文件的數(shù)據(jù)依然可用。多文件副本的方式大大提高了分布式文件系統(tǒng)的可靠性。當(dāng)用戶上傳一個(gè)文件到分布式文件系統(tǒng)，只有數(shù)據(jù)服務(wù)器機(jī)群指定的數(shù)據(jù)服務(wù)器都成功寫入了文件副本，才會(huì)向用戶響應(yīng)上傳成功。數(shù)據(jù)服務(wù)器機(jī)群一般采用鏈?zhǔn)綄懳募北镜姆椒āＨ鐖D1所示，用戶向第一臺(tái)數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)包，第一臺(tái)數(shù)據(jù)服務(wù)器先把數(shù)據(jù)包轉(zhuǎn)發(fā)給下一臺(tái)數(shù)據(jù)服務(wù)器，再寫數(shù)據(jù)到本地硬盤，然后等待下一臺(tái)數(shù)據(jù)服務(wù)器的響應(yīng)。之后的所有數(shù)據(jù)服務(wù)器都是如此，數(shù)據(jù)包逐個(gè)向后傳。直到最后一臺(tái)數(shù)據(jù)服務(wù)器寫數(shù)據(jù)到硬盤后，創(chuàng)建寫成功的響應(yīng)包并發(fā)給上一臺(tái)數(shù)據(jù)服務(wù)器。上一臺(tái)數(shù)據(jù)服務(wù)器收到響應(yīng)包并且自己已經(jīng)寫數(shù)據(jù)到硬盤，才能向上一臺(tái)數(shù)據(jù)服務(wù)器發(fā)送寫成功響應(yīng)包。直到用戶收到寫成功的響應(yīng)包，則本次寫操作完成。

鏈?zhǔn)綄懜北镜姆绞叫枰兄付ǖ臄?shù)據(jù)服務(wù)器都把文件數(shù)據(jù)寫入到本地硬盤，然后由最后一臺(tái)數(shù)據(jù)服務(wù)器依次向前一臺(tái)發(fā)送寫成功的響應(yīng)，直到數(shù)據(jù)服務(wù)器。如果有一臺(tái)數(shù)據(jù)服務(wù)器寫失敗，則認(rèn)為是本次寫操作失敗，這次寫操作需要重新執(zhí)行。雖然這種方式保證所有副本都可以成功寫入數(shù)據(jù)服務(wù)器，但只是由于某個(gè)數(shù)據(jù)服務(wù)器寫副本失敗，就要重新寫，代價(jià)太大。而且每個(gè)數(shù)據(jù)服務(wù)器都寫數(shù)據(jù)到本地硬盤，使得寫的速度很慢。

為了解決鏈?zhǔn)綄懳募北痉椒ǖ娜秉c(diǎn)，本發(fā)明提出的一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法，保留了鏈?zhǔn)睫D(zhuǎn)發(fā)數(shù)據(jù)的方式，減少了數(shù)據(jù)服務(wù)器寫數(shù)據(jù)的時(shí)延，提前發(fā)送寫成功的響應(yīng)，大大提高了寫文件的速度。

發(fā)明內(nèi)容

本發(fā)明“一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法”包括五個(gè)模塊組成。下面詳細(xì)介紹一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法和各個(gè)組成部分的內(nèi)容。

（1）本發(fā)明構(gòu)架

本發(fā)明“一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法”，本發(fā)明形成的架構(gòu)如圖2所示，主要由元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器兩大部分組成。元數(shù)據(jù)服務(wù)器包括元數(shù)據(jù)和定時(shí)檢查兩個(gè)模塊。數(shù)據(jù)服務(wù)器包括數(shù)據(jù)存儲(chǔ)、寫控制和數(shù)據(jù)服務(wù)器序號(hào)表三個(gè)模塊。

（2）本發(fā)明的五個(gè)組成模塊

本發(fā)明“一種應(yīng)用于分布式文件系統(tǒng)的文件副本異步寫方法”由五個(gè)模塊組成，它由元數(shù)據(jù)、定時(shí)檢查、數(shù)據(jù)存儲(chǔ)、寫控制和數(shù)據(jù)服務(wù)器序號(hào)表五模塊組成。以下就各功能模塊及其方法作詳細(xì)說明。

●元數(shù)據(jù)模塊：存放元數(shù)據(jù)的模塊，元數(shù)據(jù)包括文件大小、創(chuàng)建時(shí)間、修改時(shí)間、訪問權(quán)限和數(shù)據(jù)存放在哪臺(tái)數(shù)據(jù)服務(wù)器等元數(shù)據(jù)信息。

●定時(shí)檢查模塊：每過一段時(shí)間，此模塊根據(jù)元數(shù)據(jù)信息檢查各個(gè)數(shù)據(jù)服務(wù)器上的數(shù)據(jù)是否存在、完整或是最新的數(shù)據(jù)。如果副本數(shù)不滿足，則元數(shù)據(jù)服務(wù)器根據(jù)一定規(guī)則選擇數(shù)據(jù)服務(wù)器創(chuàng)建副本，以滿足用戶要求。它是整個(gè)方法的“檢查模塊”，也是數(shù)據(jù)可靠性的重要保障。

●數(shù)據(jù)存儲(chǔ)模塊：存放真正的數(shù)據(jù)。

●寫控制模塊：先把網(wǎng)絡(luò)接口中收到的數(shù)據(jù)讀到內(nèi)存，再把數(shù)據(jù)寫到下一臺(tái)數(shù)據(jù)服務(wù)器的網(wǎng)絡(luò)接口，最后把內(nèi)存中的數(shù)據(jù)寫到本地磁盤。

●數(shù)據(jù)服務(wù)器序號(hào)表：記錄了本次寫操作過程中數(shù)據(jù)服務(wù)器的序號(hào)。根據(jù)自己是第幾臺(tái)數(shù)據(jù)服務(wù)器，決定是否要向前一臺(tái)數(shù)據(jù)服務(wù)器或客戶端發(fā)送寫成功的響應(yīng)包。第一臺(tái)數(shù)據(jù)服務(wù)器保證數(shù)據(jù)寫到硬盤才能發(fā)送寫成功的響應(yīng)包。第二臺(tái)數(shù)據(jù)服務(wù)器保證數(shù)據(jù)寫到內(nèi)存即可發(fā)送寫成功的響應(yīng)包。其他數(shù)據(jù)服務(wù)器只需寫數(shù)據(jù)到本地硬盤和轉(zhuǎn)發(fā)數(shù)據(jù)包給下一臺(tái)數(shù)據(jù)服務(wù)器，無需返回是否寫成功的響應(yīng)包。

（3）本發(fā)明各模塊的執(zhí)行流程