[發(fā)明專利]一種對并行文件系統(tǒng)進(jìn)行文件布局提取的方法和裝置

有效

• 申請?zhí)枺?/td>: 201110003511.5
• 申請日: 2011-01-10
• 公開（公告）號: CN102164161A
• 公開（公告）日: 2011-08-24
• 發(fā)明（設(shè)計(jì)）人: 舒繼武;陸游游;易樂天
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 蘇培華

1.一種對并行文件系統(tǒng)進(jìn)行文件布局提取的方法，其特征在于，所述方法包括：

應(yīng)用層通過VFS向文件系統(tǒng)發(fā)出讀寫請求；

客戶端檢查讀寫請求的文件布局是否存在且有效：

若是，則使用緩存且有效的文件布局；

若否，則向元數(shù)據(jù)服務(wù)器(Meta?Data?Server，MDS)請求獲取文件布局：

MDS接收到文件布局獲取請求后，解析參數(shù)，獲取請求文件的inode和文件對象；

MDS到元數(shù)據(jù)文件系統(tǒng)讀取該文件的全部文件布局；

MDS遍歷該文件的全部文件布局，將請求范圍內(nèi)的擴(kuò)展段加入到文件布局返回結(jié)果中；

MDS將文件布局返回結(jié)果返回給客戶端；

客戶端根據(jù)返回的文件布局，將擴(kuò)展段中的分配組地址映射到實(shí)際物理設(shè)備的地址，然后進(jìn)行數(shù)據(jù)的讀寫，返回給應(yīng)用層。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法在將請求范圍內(nèi)的擴(kuò)展段加入到文件布局返回結(jié)果中之前，還包括：

判定擴(kuò)展段有沒有分配空間：

若擴(kuò)展段沒有分配空間，則向空閑空間管理模塊申請空間，同時(shí)將該擴(kuò)展段數(shù)據(jù)寫入元數(shù)據(jù)文件系統(tǒng)，并加入文件布局返回結(jié)果中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法在客戶端根據(jù)返回的文件布局，將擴(kuò)展段中的分配組地址映射到實(shí)際物理設(shè)備的地址，然后進(jìn)行數(shù)據(jù)的讀寫，返回給應(yīng)用層時(shí)，還包括：

客戶端由用戶顯式請求或者定時(shí)刷回(pdflush線程)請求文件布局提交；

客戶端提交已標(biāo)記的待提交的擴(kuò)展段，并傳給MDS；

MDS接收到文件布局提交請求后，解析相應(yīng)參數(shù)，查找提交文件的inode及文件對象；

MDS從元數(shù)據(jù)文件系統(tǒng)讀取出該文件的全部文件布局；

MDS根據(jù)提交請求中擴(kuò)展段的狀態(tài)更新讀取出的全部文件布局中擴(kuò)展段的相應(yīng)狀態(tài)；

MDS將修改完成后的文件布局寫回元數(shù)據(jù)文件系統(tǒng)，并將成功結(jié)果返回給客戶端。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法在客戶端進(jìn)行數(shù)據(jù)的讀寫時(shí)，還包括：

對進(jìn)行修改后的擴(kuò)展段進(jìn)行標(biāo)記。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法在應(yīng)用層通過VFS向文件系統(tǒng)發(fā)出讀寫請求之前，還包括：

元數(shù)據(jù)服務(wù)器根據(jù)用戶空間傳入的元數(shù)據(jù)設(shè)備構(gòu)造參數(shù)選取元數(shù)據(jù)存儲設(shè)備，并在其上建立專用的元數(shù)據(jù)文件系統(tǒng)；

元數(shù)據(jù)服務(wù)器根據(jù)用戶空間傳入的并行分配組的構(gòu)造參數(shù)，掃描并查找到相應(yīng)的共享塊存儲設(shè)備的物理設(shè)備，在該物理設(shè)備頭部寫入并行分配組標(biāo)識信息，完成并行分配組(PAG)的添加，用于數(shù)據(jù)存儲；

元數(shù)據(jù)服務(wù)器將新添加的并行分配組標(biāo)識信息寫入元數(shù)據(jù)文件系統(tǒng)的超級塊中；

客戶端與元數(shù)據(jù)服務(wù)器建立會話，并向元數(shù)據(jù)服務(wù)器請求獲取并行文件系統(tǒng)的并行分配組列表；

客戶端根據(jù)獲得的并行分配組列表向元數(shù)據(jù)服務(wù)器請求獲取每個(gè)并行分配組的信息，掃描并匹配到相應(yīng)的共享塊存儲設(shè)備的物理設(shè)備，構(gòu)建并行分配組的數(shù)據(jù)結(jié)構(gòu)。

6.一種對并行文件系統(tǒng)進(jìn)行文件布局提取的裝置，其特征在于，所述裝置包括：

第一處理模塊，用于完成應(yīng)用層通過VFS向文件系統(tǒng)發(fā)出讀寫請求；

判定模塊，用于完成客戶端檢查讀寫請求的文件布局是否存在且有效：

第二處理模塊，用于當(dāng)判定模塊判定為是時(shí)，使用緩存且有效的文件布局；

第三處理模塊，用于當(dāng)判定模塊判定為否時(shí)，向元數(shù)據(jù)服務(wù)器(Meta?DataServer，MDS)請求獲取文件布局：

第四處理模塊，用于完成MDS接收到文件布局獲取請求后，解析參數(shù)，獲取請求文件的inode和文件對象；

第五處理模塊，用于完成MDS到元數(shù)據(jù)文件系統(tǒng)讀取該文件的全部文件布局；

第六處理模塊，用于完成MDS遍歷該文件的全部文件布局，將請求范圍內(nèi)的擴(kuò)展段加入到文件布局返回結(jié)果中；

第七處理模塊，用于完成MDS將文件布局返回結(jié)果返回給客戶端；

第八處理模塊，用于完成客戶端根據(jù)返回的文件布局，將擴(kuò)展段中的分配組地址映射到實(shí)際物理設(shè)備的地址，然后進(jìn)行數(shù)據(jù)的讀寫，返回給應(yīng)用層。