[發(fā)明專利]一種基于目錄劃分的元數(shù)據(jù)分布方法及裝置

有效

• 申請?zhí)枺?/td>: 201310042675.8
• 申請日: 2013-02-04
• 公開（公告）號: CN103136338A
• 公開（公告）日: 2013-06-05
• 發(fā)明（設(shè)計）人: 馬燦;王偉平;孟丹
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及一種分布式文件系統(tǒng)中的元數(shù)據(jù)分布分類領(lǐng)域，特別涉及一種基于目錄劃分的元數(shù)據(jù)分布方法及裝置。

背景技術(shù)

近年來，隨著越來越多Web2.0互聯(lián)網(wǎng)業(yè)務(wù)的出現(xiàn)，數(shù)據(jù)逐漸以用戶為中心形成并存儲，因此，數(shù)據(jù)的規(guī)模和文件數(shù)量急劇增長。現(xiàn)有的分布式文件系統(tǒng)或者面向高I/O帶寬的傳統(tǒng)應(yīng)用場景或者受限于技術(shù)實現(xiàn)的復(fù)雜度，因此多采用單一元數(shù)據(jù)服務(wù)器的結(jié)構(gòu)，如Lustre，GoogleFS，HDFS等。單一元數(shù)據(jù)服務(wù)器的結(jié)構(gòu)由于存在著網(wǎng)絡(luò)、計算和內(nèi)存資源的瓶頸，因而不能很好的適應(yīng)存儲系統(tǒng)規(guī)模的增長。

為了克服這些擴展性問題，有些最近的研究采用了多個元數(shù)據(jù)服務(wù)器來提供更強的元數(shù)據(jù)服務(wù)，如Ceph，PVFS，HDFS2，OrangeFS等，不同的系統(tǒng)采用了不同的元數(shù)據(jù)分布方法。例如，Ceph采用動態(tài)子樹的元數(shù)據(jù)分布方法，PVFS和HDFS2采用了靜態(tài)分區(qū)的元數(shù)據(jù)分布方法，OrangeFS采用了基于目錄分片的可擴展哈希方法。綜合而言，動態(tài)子樹方法由于其適應(yīng)性和擴展性存在著滯后因素，因而當(dāng)系統(tǒng)出現(xiàn)訪問熱點時，其負載比較集中，從而會影響性能。靜態(tài)分區(qū)的方法不能適應(yīng)負載的變化，靈活性欠佳。而基于目錄分片的可擴展哈希方法則能夠以更小的粒度來組織和分布元數(shù)據(jù)，從而更好的適應(yīng)系統(tǒng)規(guī)模的擴展。

但是，采用基于目錄分片的可擴展哈希方法依然存在著擴展性的限制。當(dāng)系統(tǒng)的元數(shù)據(jù)規(guī)模進一步擴大時，可擴展哈希表需要進一步的分裂來容納更多的元數(shù)據(jù)。此時，目錄分片會進一步分裂和遷移來將存儲和負載更均勻的分布到更多的機器上，從而提高訪問性能。然后，目錄分片的分裂和遷移會嚴重影響元數(shù)據(jù)服務(wù)的性能。現(xiàn)有的方法并沒有針對這一問題進行更好的處理。

為了更好的解決分布式文件系統(tǒng)中元數(shù)據(jù)服務(wù)的擴展性問題，我們提出了元數(shù)據(jù)的兩階段式的基于目錄分片的可擴展哈希分布方法，實現(xiàn)元數(shù)據(jù)的更均勻、更高效的分布，解決由于目錄分片分裂和遷移帶來的性能問題，提升分布式文件系統(tǒng)的擴展性和性能。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種分布式文件系統(tǒng)中進行目錄劃分、并且限制目錄劃分后形成的目錄分片文件的存儲位置的基于目錄分片的元數(shù)據(jù)分布方法及裝置。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種基于目錄劃分的元數(shù)據(jù)分布方法，包括以下步驟：

步驟1：獲取元數(shù)據(jù)中的文件名，生成名稱文件；

步驟2：對目錄進行目錄劃分，得到多個目錄分片文件，并為每個目錄分片文件分配一個目錄分片號；

步驟3：將名稱文件保存在與目錄分片號對應(yīng)的目錄分片文件中；

步驟4：如果當(dāng)前的目錄分片文件的存儲空間未滿，將名稱文件存儲于當(dāng)前的目錄分片文件中，如果當(dāng)前的目錄分片文件的存儲空間已滿，則將目錄分片文件進行分裂，為分裂出的目錄分片文件分配目錄分片號，將名稱文件存儲于當(dāng)前的目錄分片文件中或者分裂后的目錄分片文件中；

步驟5：根據(jù)目錄分片號與預(yù)定值判斷當(dāng)前的目錄分片文件分裂出的目錄分片文件的存儲位置，將其設(shè)定為當(dāng)前的目錄分片文件所在的元數(shù)據(jù)服務(wù)器或者其他的元數(shù)據(jù)服務(wù)器。

本發(fā)明的有益效果是：先將目錄分片文件進行分裂，提高了系統(tǒng)的并發(fā)度，在對分裂后的目錄分片文件限制存儲范圍，有效的降低了網(wǎng)絡(luò)資源的消耗，提升了系統(tǒng)的整體性能。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。

進一步，所述分裂出的目錄分片文件與所述當(dāng)前的目錄分片文件存儲空間相同。

采用上述進一步方案的有益效果是分裂出與原目錄分片文件相同的新目錄分片文件，提供了二倍的存儲空間。

進一步，所述步驟4具體為：