[發明專利]一種對并行文件系統進行文件布局提取的方法和裝置

有效

• 申請號: 201110003511.5
• 申請日: 2011-01-10
• 公開（公告）號: CN102164161A
• 公開（公告）日: 2011-08-24
• 發明（設計）人: 舒繼武;陸游游;易樂天
• 申請（專利權）人: 清華大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

技術領域

本發明涉及網絡文件管理技術領域，特別是涉及一種對并行文件系統進行文件布局提取的方法和裝置。

背景技術

在高性能計算領域，多個服務器進行并發讀寫操作的需求愈為顯現。以存儲區域網絡(Storage?Area?Network，SAN)為代表的共享塊存儲設備提供了存儲設備的并發訪問能力，即多個前端服務器節點可以通過光纖通道、iSCSI等通道直接訪問塊設備。因而，需要并行文件系統來管理共享塊存儲設備，以提供前端服務器并發的文件訪問能力。

傳統的網絡文件系統，如NFS，Samba等，以導出本地文件系統的方式提供多服務器的訪問。在這種方式中，數據的傳輸仍然需要經過本地文件系統的存取，而不是直接訪問存儲設備，因而限制了共享塊存儲設備的并發訪問能力。基于對象的文件系統，如Lustre、Ceph等，需要專用的面向對象存儲設備或者模擬的對象存儲設備，不適用于共享塊存儲設備的存儲環境。常見的集群文件系統，如GFS(Global?File?System)、GPFS等，以對稱的方式提供文件的管理，即數據與元數據混合放置，每個服務器角色是對等的，這種實現方式存在的顯著缺點為：需要借助復雜的集群分布式鎖管理協議進行數據的一致性維護。

因此，目前需要本領域技術人員迫切解決的一個技術問題就是：如何能夠創新地提出一種對并行文件系統進行文件布局提取的方法和裝置，以解決現有技術中存在的問題，極大的方便數據的管理，方便了元數據的性能優化。

發明內容

本發明所要解決的技術問題是提供一種對并行文件系統進行文件布局提取的方法和裝置，用以保證數據的有效管理，方便元數據的性能優化。

為了解決上述問題，本發明公開了一種對并行文件系統進行文件布局提取的方法，所述方法包括：

應用層通過VFS向文件系統發出讀寫請求；

客戶端檢查讀寫請求的文件布局是否存在且有效：

若是，則使用緩存且有效的文件布局；

若否，則向元數據服務器(Meta?Data?Server，MDS)請求獲取文件布局：

MDS接收到文件布局獲取請求后，解析參數，獲取請求文件的inode和文件對象；

MDS到元數據文件系統讀取該文件的全部文件布局；

MDS遍歷該文件的全部文件布局，將請求范圍內的擴展段加入到文件布局返回結果中；

MDS將文件布局返回結果返回給客戶端；

客戶端根據返回的文件布局，將擴展段中的分配組地址映射到實際物理設備的地址，然后進行數據的讀寫，返回給應用層。

優選的，所述方法在將請求范圍內的擴展段加入到文件布局返回結果中之前，還包括：

判定擴展段有沒有分配空間：

若擴展段沒有分配空間，則向空閑空間管理模塊申請空間，同時將該擴展段數據寫入元數據文件系統，并加入文件布局返回結果中。

優選的，所述方法在客戶端根據返回的文件布局，將擴展段中的分配組地址映射到實際物理設備的地址，然后進行數據的讀寫，返回給應用層時，還包括：

客戶端由用戶顯式請求或者定時刷回(pdflush線程)請求文件布局提交；

客戶端提交已標記的待提交的擴展段，并傳給MDS；

MDS接收到文件布局提交請求后，解析相應參數，查找提交文件的inode及文件對象；

MDS從元數據文件系統讀取出該文件的全部文件布局；

MDS根據提交請求中擴展段的狀態更新讀取出的全部文件布局中擴展段的相應狀態；

MDS將修改完成后的文件布局寫回元數據文件系統，并將成功結果返回給客戶端。

優選的，所述方法在客戶端進行數據的讀寫時，還包括：

對進行修改后的擴展段進行標記。

優選的，所述方法在應用層通過VFS向文件系統發出讀寫請求之前，還包括：

元數據服務器根據用戶空間傳入的元數據設備構造參數選取元數據存儲設備，并在其上建立專用的元數據文件系統；

元數據服務器根據用戶空間傳入的并行分配組的構造參數，掃描并查找到相應的共享塊存儲設備的物理設備，在該物理設備頭部寫入并行分配組標識信息，完成并行分配組(PAG)的添加，用于數據存儲；

元數據服務器將新添加的并行分配組標識信息寫入元數據文件系統的超級塊中；

客戶端與元數據服務器建立會話，并向元數據服務器請求獲取并行文件系統的并行分配組列表；

客戶端根據獲得的并行分配組列表向元數據服務器請求獲取每個并行分配組的信息，掃描并匹配到相應的共享塊存儲設備的物理設備，構建并行分配組的數據結構。