[發(fā)明專利]元數(shù)據(jù)管理方法

有效

• 申請?zhí)枺?/td>: 201310256313.9
• 申請日: 2013-06-25
• 公開（公告）號: CN103310000B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設(shè)計）人: 楊浩;馬照云;馬振杰;苗艷超;劉新春;邵宗有
• 申請（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德恒律治知識產(chǎn)權(quán)代理有限公司11409
• 代理人: 章社杲,孫征

技術(shù)領(lǐng)域

本發(fā)明一般地涉及計算機(jī)技術(shù)領(lǐng)域，更具體地來說，涉及元數(shù)據(jù)管理方法。

背景技術(shù)

隨著科技的日異月新，文件數(shù)據(jù)的指數(shù)性增長給存儲系統(tǒng)帶來了巨大的挑戰(zhàn)。與傳統(tǒng)的SAN結(jié)構(gòu)存儲比較起來，分布式文件系統(tǒng)具有價格低廉、可擴(kuò)展性強(qiáng)、性能優(yōu)越等特性。作為通用的分布式文件系統(tǒng)，元數(shù)據(jù)的管理是需要重點(diǎn)關(guān)注的，因為元數(shù)據(jù)是管理數(shù)據(jù)的數(shù)據(jù)。根據(jù)訪問特性，應(yīng)用可分為兩種形式：元數(shù)據(jù)非密集型和元數(shù)據(jù)密集型。元數(shù)據(jù)非密集型應(yīng)用主要是大文件的訪存，如視頻監(jiān)控、虛擬機(jī)應(yīng)用等，這類應(yīng)用集中于數(shù)據(jù)的訪存，元數(shù)據(jù)訪問的比例相對較低，因而對于元數(shù)據(jù)管理的壓力較??；元數(shù)據(jù)密集型應(yīng)用集中于小文件的訪存，如數(shù)字圖書館、網(wǎng)上商城等，這類應(yīng)用操作的文件量巨大，元數(shù)據(jù)的訪問壓力較大。當(dāng)管理海量的小文件時，分布式文件系統(tǒng)需要面臨著性能和存儲容量的雙重考驗。

在現(xiàn)有技術(shù)中，對于海量小文件的管理均存在一定的局限性。Lustre、GoogleFS、HDFS采用單一元數(shù)據(jù)服務(wù)節(jié)點(diǎn)架構(gòu)，無法進(jìn)行擴(kuò)展，因此不論是在性能還是存儲容量上都大大受限，不能很好地滿足海量小文件管理的需求。GPFS采用多元數(shù)據(jù)，但是元數(shù)據(jù)服務(wù)器之間采用分布式鎖來維持一致性，因此當(dāng)元數(shù)據(jù)服務(wù)節(jié)點(diǎn)的數(shù)量較多時，分布式鎖的開銷會激增，對性能照成較大的負(fù)面影響。Panasas的存儲系統(tǒng)采用多元數(shù)據(jù)服務(wù)器架構(gòu)，但是每個元數(shù)據(jù)節(jié)點(diǎn)管理的命名空間是獨(dú)立的，不能實現(xiàn)真正意義上的全局命名空間。Ceph采用動態(tài)子樹的方式來在多個元數(shù)據(jù)節(jié)點(diǎn)之間平衡元數(shù)據(jù)訪問負(fù)載，這種方式可以實現(xiàn)訪問負(fù)載的均衡，但其不足之處在于元數(shù)據(jù)節(jié)點(diǎn)不能實現(xiàn)存儲容量的動態(tài)擴(kuò)展。因此，現(xiàn)有技術(shù)中的分布式文件系統(tǒng)不能同時滿足巨大的應(yīng)用操作的文件量和較大的元數(shù)據(jù)的訪問壓力方面的要求。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的存在分布式文件系統(tǒng)不能同時滿足巨大的應(yīng)用操作的文件量和較大的元數(shù)據(jù)的訪問壓力方面的要求的缺陷，本發(fā)明提供了能夠解決上述缺陷的元數(shù)據(jù)管理方法。

根據(jù)本發(fā)明的一方面，本發(fā)明提供了一種元數(shù)據(jù)管理方法，包括：在元數(shù)據(jù)位置服務(wù)模塊中獲取元數(shù)據(jù)位置的信息；將元數(shù)據(jù)位置的信息傳送給元數(shù)據(jù)服務(wù)模塊；以及根據(jù)元數(shù)據(jù)位置的信息對元數(shù)據(jù)進(jìn)行讀寫操作。

優(yōu)選地，元數(shù)據(jù)位置為全局唯一標(biāo)識ID，在元數(shù)據(jù)管理方法的步驟開始之前，進(jìn)一步包括：建立所有全局唯一標(biāo)識ID和元數(shù)據(jù)存儲位置之間的一致性哈希映射關(guān)系，并將元數(shù)據(jù)存儲位置作為元數(shù)據(jù)存儲位置集合；將元數(shù)據(jù)存儲位置集合劃分為M個子集，其中，M為大于N的整數(shù)并且N為元數(shù)據(jù)存儲節(jié)點(diǎn)的個數(shù)；將M個子集分配給N個元數(shù)據(jù)存儲節(jié)點(diǎn)；以及根據(jù)一致性哈希映射關(guān)系，將具有全局唯一標(biāo)識ID的元數(shù)據(jù)存儲在與M個子集相對應(yīng)的N個元數(shù)據(jù)存儲節(jié)點(diǎn)上。

優(yōu)選地，當(dāng)N個元數(shù)據(jù)存儲節(jié)點(diǎn)的存儲空間不足時，在線添加擴(kuò)展元數(shù)據(jù)存儲節(jié)點(diǎn)，并且將存儲在N個元數(shù)據(jù)存儲節(jié)點(diǎn)上的M個子集的一部分轉(zhuǎn)存至擴(kuò)展元數(shù)據(jù)存儲節(jié)點(diǎn)上。

優(yōu)選地，元數(shù)據(jù)位置服務(wù)模塊位于一個或多個存儲節(jié)點(diǎn)組上，每個存儲節(jié)點(diǎn)組都包括一個主存儲節(jié)點(diǎn)和一個從存儲節(jié)點(diǎn)，并且主存儲節(jié)點(diǎn)和從存儲節(jié)點(diǎn)互為鏡像存儲節(jié)點(diǎn)。

優(yōu)選地，當(dāng)一個或多個存儲節(jié)點(diǎn)組的存儲空間不足時，以存儲節(jié)點(diǎn)組為單位在線添加擴(kuò)展存儲節(jié)點(diǎn)組，并且將后續(xù)要寫入的元數(shù)據(jù)的元數(shù)據(jù)位置的信息存儲在擴(kuò)展存儲節(jié)點(diǎn)組上。

優(yōu)選地，在實施元數(shù)據(jù)管理方法的步驟之前，進(jìn)一步包括：通過客戶端向元數(shù)據(jù)位置服務(wù)模塊發(fā)送元數(shù)據(jù)操作請求，其中，元數(shù)據(jù)操作請求包括：查詢請求和存儲請求。

優(yōu)選地，當(dāng)元數(shù)據(jù)操作請求為查詢請求時，根據(jù)查詢請求，在元數(shù)據(jù)位置服務(wù)模塊中查找到元數(shù)據(jù)的全局唯一標(biāo)識ID；將全局唯一標(biāo)識ID傳送給元數(shù)據(jù)服務(wù)模塊；以及根據(jù)全局唯一標(biāo)識ID的一致性哈希映射查找到存儲元數(shù)據(jù)的元數(shù)據(jù)存儲節(jié)點(diǎn)，從元數(shù)據(jù)存儲節(jié)點(diǎn)讀取元數(shù)據(jù)并反饋給客戶端。

優(yōu)選地，當(dāng)元數(shù)據(jù)操作請求為存儲請求時，根據(jù)存儲請求，由元數(shù)據(jù)位置服務(wù)模塊提供元數(shù)據(jù)的全局唯一標(biāo)識ID；將全局唯一標(biāo)識ID和元數(shù)據(jù)傳送給元數(shù)據(jù)服務(wù)模塊；以及根據(jù)全局唯一標(biāo)識ID的一致性哈希映射查找到要存儲元數(shù)據(jù)的元數(shù)據(jù)存儲節(jié)點(diǎn)，并將元數(shù)據(jù)存儲在元數(shù)據(jù)存儲節(jié)點(diǎn)中。

優(yōu)選地，元數(shù)據(jù)服務(wù)模塊用于管理包括文件的基本屬性、用戶數(shù)據(jù)存儲位置信息以及文件擴(kuò)展屬性的元數(shù)據(jù)。

優(yōu)選地，元數(shù)據(jù)位置服務(wù)模塊用于管理元數(shù)據(jù)位置信息和文件系統(tǒng)的目錄樹結(jié)構(gòu)。