[發(fā)明專利]分布式文件系統(tǒng)及均衡元數(shù)據(jù)存儲和訪問負(fù)載的實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201410069893.5
• 申請日: 2014-02-28
• 公開（公告）號: CN103793534B
• 公開（公告）日: 2017-09-08
• 發(fā)明（設(shè)計(jì)）人: 郁岐鋒;花磊
• 申請（專利權(quán)）人: 蘇州博納訊動軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種分布式文件系統(tǒng)，以及在該系統(tǒng)上實(shí)現(xiàn)的元數(shù)據(jù)存儲負(fù)載和訪問負(fù)載的均衡方法。

背景技術(shù)

大數(shù)據(jù)(big data)一詞越來越多的被人們提及，它用來描述和定義信息爆炸時代所產(chǎn)生海量數(shù)據(jù)的名詞。國際數(shù)據(jù)公司(IDC)的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB(1ZB＝1024EB，1EB＝1024PB，1PB＝1024TB，1TB＝1024GB)，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年該數(shù)字更是高達(dá)1.82ZB，而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。其增長速度相當(dāng)于全球每人每年產(chǎn)生200GB以上的數(shù)據(jù)。

在這種數(shù)據(jù)快速增長的情況下，海量數(shù)據(jù)存儲技術(shù)成為了支撐數(shù)據(jù)高速增長的技術(shù)基礎(chǔ)。作為應(yīng)用系統(tǒng)基礎(chǔ)平臺的用于支持?jǐn)?shù)據(jù)訪問的文件系統(tǒng)，其性能和可擴(kuò)展性就變得越來越重要。為了提高文件系統(tǒng)性能，并在一定程度上提高文件系統(tǒng)的可擴(kuò)展性，如谷歌的GFS，淘寶的TFS，HDFS等分布式文件系統(tǒng)應(yīng)運(yùn)而生。這些分布式文件系統(tǒng)通過將元數(shù)據(jù)服務(wù)和數(shù)據(jù)服務(wù)分離，由元數(shù)據(jù)服務(wù)器來提供元數(shù)據(jù)服務(wù)，由多個數(shù)據(jù)服務(wù)器來并行提供數(shù)據(jù)服務(wù)。其中，元數(shù)據(jù)采用采用集中式管理方式，這種管理方式可維護(hù)的元數(shù)據(jù)量，以及可提供的元數(shù)據(jù)服務(wù)性能都會受到限制，元數(shù)據(jù)服務(wù)器隨著數(shù)據(jù)量的增長，將會成為系統(tǒng)的性能瓶頸，不利于系統(tǒng)進(jìn)一步擴(kuò)展。

針對集中式元數(shù)據(jù)管理的性能瓶頸問題，各種元數(shù)據(jù)服務(wù)器集群解決方案也相繼出現(xiàn)。主要可分為兩大類，一是基于hash(散列)的方案，通過文件的標(biāo)識符(如路徑名+文件名)的哈希值來定位對應(yīng)的元數(shù)據(jù)服務(wù)器，每個元數(shù)據(jù)服務(wù)器維護(hù)一定哈希值范圍的元數(shù)據(jù)，并響應(yīng)查詢訪問。這類方案具有對單一文件的元數(shù)據(jù)查詢響應(yīng)快，元數(shù)據(jù)分布管理簡單的優(yōu)點(diǎn)，但卻破壞了同一目錄下文件元數(shù)據(jù)的局部性，此外，重命名會導(dǎo)致元數(shù)據(jù)的遷移，而目錄重命名，整個目錄下的所有文件元數(shù)據(jù)都需要遷移，開銷非常大。另一類是基于目錄子樹分割的方案，將命名空間分割為不同的子樹，按照一定的分配方法，將不同的子樹分配到各個元數(shù)據(jù)服務(wù)器上。這類方案雖然容易實(shí)現(xiàn)靜態(tài)分割，卻具有不能應(yīng)對系統(tǒng)負(fù)載的變化，負(fù)載均衡性能差的不足；而動態(tài)分割雖然能夠更好的支持負(fù)載均衡，但大多設(shè)計(jì)方案比較復(fù)雜，不易實(shí)現(xiàn)。

現(xiàn)有元數(shù)據(jù)服務(wù)器集群的負(fù)載均衡方案，大多都集中在元數(shù)據(jù)訪問負(fù)載的均衡，而實(shí)際對于用于海量存儲的分布式文件系統(tǒng)來說，不僅數(shù)據(jù)占用空間大，而且用于維護(hù)文件基本信息的元數(shù)據(jù)需要的存儲空間大。為了提高元數(shù)據(jù)訪問的響應(yīng)效率，大多分布式文件系統(tǒng)都會將元數(shù)據(jù)載入內(nèi)存空間，這就使得元數(shù)據(jù)量存儲負(fù)載均衡和訪問負(fù)載均衡變得同樣重要。然而遺憾的是，還沒有出現(xiàn)結(jié)合訪問負(fù)載均衡和存儲負(fù)載均衡的技術(shù)方案。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明設(shè)計(jì)了一種分布式文件系統(tǒng)及均衡元數(shù)據(jù)存儲和訪問負(fù)載的實(shí)現(xiàn)方法，在減輕元數(shù)據(jù)服務(wù)器訪問負(fù)載的同時，保證元數(shù)據(jù)存儲負(fù)載和訪問負(fù)載在元數(shù)據(jù)服務(wù)器之間平衡。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

一種分布式文件系統(tǒng)，由客戶端，元數(shù)據(jù)服務(wù)器和存儲服務(wù)器三部分組成；

所述的客戶端包括客戶端元數(shù)據(jù)緩存模塊和客戶端元數(shù)據(jù)訪問模塊；

所述的元數(shù)據(jù)服務(wù)器分配有元數(shù)據(jù)目錄樹形式的元數(shù)據(jù)，元數(shù)據(jù)服務(wù)器維護(hù)一棵或多棵元數(shù)據(jù)目錄子樹，并記錄：

本地元數(shù)據(jù)存儲負(fù)載Mcount；

所有元數(shù)據(jù)服務(wù)器的總元數(shù)據(jù)存儲負(fù)載TMcount；

路徑和元數(shù)據(jù)服務(wù)器映射表PMT；

元數(shù)據(jù)服務(wù)器維護(hù)的每棵元數(shù)據(jù)目錄子樹對應(yīng)元數(shù)據(jù)目錄樹中的一個目錄節(jié)點(diǎn)，即元數(shù)據(jù)目錄子樹根節(jié)點(diǎn)，有其對應(yīng)的路徑；

定義分布式文件系統(tǒng)根目錄的子目錄為一級目錄，每個元數(shù)據(jù)服務(wù)器維護(hù)一棵或多棵分布式文件系統(tǒng)元數(shù)據(jù)目錄子樹，每棵子樹中的目錄節(jié)點(diǎn)維護(hù)一個本目錄下的元數(shù)據(jù)計(jì)數(shù)，記號為i的元數(shù)據(jù)服務(wù)器維護(hù)一個自身的元數(shù)據(jù)計(jì)數(shù)總值Mcount_i，元數(shù)據(jù)總計(jì)數(shù)TMcount表示所有元數(shù)據(jù)服務(wù)器上元數(shù)據(jù)計(jì)數(shù)的總和，N表示元數(shù)據(jù)服務(wù)器數(shù)量，

實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器之間元數(shù)據(jù)存儲負(fù)載均衡的運(yùn)行方法包括以下四個步驟：存儲負(fù)載均衡初始化、初始閾值、目錄子樹遷移和目錄子樹合并；

所述的存儲負(fù)載均衡初始化具體為：在分布式文件系統(tǒng)初始創(chuàng)建啟用時，將新創(chuàng)建的一級目錄逐個存放到各個元數(shù)據(jù)服務(wù)器上；元數(shù)據(jù)目錄樹中，一級目錄下所有目錄和文件的元數(shù)據(jù)，與該一級目錄元數(shù)據(jù)存儲在同一個元數(shù)據(jù)服務(wù)器上，使元數(shù)據(jù)均勻分布到各個元數(shù)據(jù)服務(wù)器上；