[發(fā)明專利]一種分布式文件系統(tǒng)元數(shù)據(jù)的解耦合分布方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710016284.7
• 申請(qǐng)日: 2017-01-10
• 公開（公告）號(hào): CN106874383B
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計(jì)）人: 陸游游;舒繼武;李思陽
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/13
• 代理公司: 11201 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 張潤(rùn)

本發(fā)明公開了一種分布式文件系統(tǒng)元數(shù)據(jù)的解耦合分布方法，包括：對(duì)分布式文件系統(tǒng)的元數(shù)據(jù)進(jìn)行分離，以得到目錄的元數(shù)據(jù)、目錄項(xiàng)的元數(shù)據(jù)和文件的元數(shù)據(jù)；將所述目錄元數(shù)據(jù)集中存儲(chǔ)在目錄元數(shù)據(jù)索引節(jié)點(diǎn)，并不包含指向目錄項(xiàng)的指針。根據(jù)所述目錄索引節(jié)點(diǎn)執(zhí)行目錄操作。將每個(gè)目錄項(xiàng)元數(shù)據(jù)分割之后與與之相關(guān)的文件元數(shù)據(jù)存放在同一個(gè)節(jié)點(diǎn)，并建立指向目錄元數(shù)據(jù)的反向索引。本發(fā)明具有如下優(yōu)點(diǎn)：減少了分布式文件系統(tǒng)訪問元數(shù)據(jù)時(shí)各個(gè)節(jié)點(diǎn)之間的信息交互，降低了元數(shù)據(jù)訪問的延遲，同時(shí)，通過分離目錄內(nèi)容的方法，解耦合了文件和目錄之間的強(qiáng)關(guān)聯(lián)性，能夠達(dá)到很高的吞吐量，從而提高了分布式文件系統(tǒng)對(duì)于元數(shù)據(jù)的處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體涉及一種分布式文件系統(tǒng)元數(shù)據(jù)的解耦合分布方法。

背景技術(shù)

分布式文件系統(tǒng)是一種支持海量數(shù)據(jù)存儲(chǔ)的新型存儲(chǔ)系統(tǒng)，被廣泛應(yīng)用于數(shù)據(jù)中心，超算中心和公有云平臺(tái)。分布式文件系統(tǒng)具有很多好的優(yōu)點(diǎn)相對(duì)于傳統(tǒng)的集中式存儲(chǔ)。如可以對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行橫向擴(kuò)展，通過增加存儲(chǔ)節(jié)點(diǎn)的方式可以動(dòng)態(tài)的擴(kuò)充存儲(chǔ)的容量，并保證訪問吞吐量的同步提升。其次，分布式文件系統(tǒng)相對(duì)于傳統(tǒng)的集中式存儲(chǔ)具有靈活的容錯(cuò)策略，可以使用副本機(jī)制和糾刪碼進(jìn)行分布式的容錯(cuò)。分布式文件系統(tǒng)還可以使用更加廉價(jià)的存儲(chǔ)和計(jì)算設(shè)備去構(gòu)建一個(gè)大規(guī)模的存儲(chǔ)集群，以保證大量數(shù)據(jù)的訪問。但是受限于文件系統(tǒng)的訪問標(biāo)準(zhǔn)(POSIX)，分布式文件系統(tǒng)的元數(shù)據(jù)訪問往往成為了其性能的瓶頸。其元數(shù)據(jù)的訪問往往無法滿足高吞吐量和低延時(shí)的需求，但是在實(shí)際的系統(tǒng)中，超過一半以上的數(shù)據(jù)訪問需要經(jīng)過元數(shù)據(jù)節(jié)點(diǎn)。為了解決分布式文件系統(tǒng)元數(shù)據(jù)的可擴(kuò)展性，現(xiàn)有的技術(shù)主要有下面三種：

一種是基于動(dòng)態(tài)目錄樹的分布式元數(shù)據(jù)節(jié)點(diǎn)擴(kuò)展方法，這種方法的特點(diǎn)是將分布式文件系統(tǒng)的名字空間按照子目錄分為不同的子樹，每個(gè)子樹獨(dú)立的存放在某一個(gè)節(jié)點(diǎn)，并且更具訪問的負(fù)載動(dòng)態(tài)的調(diào)節(jié)存放的節(jié)點(diǎn)。這種方式的優(yōu)勢(shì)是能夠根據(jù)負(fù)載的同步動(dòng)態(tài)的調(diào)整訪問的位置，但是這種方式無法解決文件訪問的路徑回朔問題，當(dāng)訪問一個(gè)文件的時(shí)候，需要訪問整個(gè)路徑的所有目錄，而這些目錄往往沒有存放在同一個(gè)節(jié)點(diǎn)，往往造成了較大的訪問延遲。

另一種是基于哈希算法的元數(shù)據(jù)擴(kuò)展方法，其特點(diǎn)是將一個(gè)目錄內(nèi)的文件通過哈希的方式將元數(shù)據(jù)分配到不同的節(jié)點(diǎn)。這種方式的優(yōu)勢(shì)是針對(duì)一個(gè)目錄中有大量的文件時(shí)，能夠降低文件訪問的負(fù)載。但是無法解決目錄的擴(kuò)展性問題。

第三種方法是通過利用鍵值數(shù)據(jù)庫存儲(chǔ)文件元數(shù)據(jù)的方法，這種方法利用了鍵值數(shù)據(jù)庫訪問快，延時(shí)低的特點(diǎn)，但是這種方法依然存在路徑如第一種方法存在的路徑查找問題，依然無法解決訪問時(shí)延時(shí)較低的問題。

為了解決路徑延時(shí)的問題，這些方法往往在客戶端緩存元數(shù)據(jù)，但是這又帶來了很多不一致性的開銷，從而無法從更本上解決問題。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決上述技術(shù)問題之一。

為此，本發(fā)明的一個(gè)目的在于提出一種分布式文件系統(tǒng)元數(shù)據(jù)的解耦合分布方法，以解決分布式文件系統(tǒng)的元數(shù)據(jù)擴(kuò)展性，吞吐率不高和延遲較低的問題。

為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例公開了一種分布式文件系統(tǒng)元數(shù)據(jù)的解耦合分布方法，包括以下步驟：S1：對(duì)分布式文件系統(tǒng)的元數(shù)據(jù)進(jìn)行分離，以得到目錄索引節(jié)點(diǎn)的元數(shù)據(jù)、目錄項(xiàng)的元數(shù)據(jù)和文件的元數(shù)據(jù)；S2：將所述目錄的元數(shù)據(jù)設(shè)置在目錄索引節(jié)點(diǎn)；S3：將每個(gè)目錄項(xiàng)根據(jù)文件的分布情況進(jìn)行分割，并在文件存放的節(jié)點(diǎn)存儲(chǔ)與之相關(guān)的目錄項(xiàng)，并建立指向目錄元數(shù)據(jù)的反向索引。

進(jìn)一步地，所述目錄操作包括目錄的創(chuàng)建、目錄的刪除、讀取目錄、獲取目錄的所有元數(shù)據(jù)、改變目錄所在的用戶組和改變目錄所屬的用戶。

進(jìn)一步地，還包括：提供全局唯一確定文件的標(biāo)識(shí)；計(jì)算所需要訪問的文件的全局所述標(biāo)識(shí)的哈希值；根據(jù)所述哈希值定位元數(shù)據(jù)存放的節(jié)點(diǎn)。

進(jìn)一步地，所述標(biāo)識(shí)為文件的完整路徑。