[發明專利]并行文件系統中支持元數據I/O服務質量的性能需求描述和轉換方法

有效

• 申請號: 201310156737.8
• 申請日: 2013-04-28
• 公開（公告）號: CN103226607B
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 肖利民;謝柯;李秀橋;霍志勝;阮利
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京金恒聯合知識產權代理事務所11324
• 代理人: 李強

技術領域

本發明涉及一種文件系統中多負載環境下負載服務質量的描述和轉換，具體涉及一種應用于并行文件系統中支持元數據I/O服務質量的性能需求描述和轉換方法；屬于計算機技術領域。

背景技術

隨著服務器、互連網絡和存儲設備等硬件技術的發展，目前大型信息基礎設施中的大規模文件系統逐漸向互聯網應用、數據挖掘、科研協作、科學計算等不同類型的應用提供共享存儲資源訪問的服務，以充分利用其大規模的計算和存儲能力。不同類型應用的負載具有多樣性的I/O訪問模式和存儲訪問需求，同時不同應用程序通常具有不同的優先級，研究表明不同應用對于I/O性能的需求可能會差7個數量級。由于數據訪問依賴于元數據，在元數據訪問性能日益成為瓶頸問題的前提下，只有滿足了應用的元數據訪問性能需求才能進一步保障應用的性能需求。

現有研究一般采用I/O服務質量來描述并滿足應用負載的性能需求，并采用不同的調度算法來為不同負載分配計算、存儲等資源，來保障應用負載的I/O性能，即首先描述負載所需要的性能需求，而后將這些性能需求轉換成對于資源的需求，最后再采用不同的方法來保障負載的性能。現有的研究主要側重于保障數據訪問性能，往往直接采用以帶寬(單位時間訪問的數據量大小，比如MB/s)和/或時延(單個I/O請求的響應時延)等為衡量指標來描述負載的數據訪問的性能需求。但是衡量負載元數據的性能往往以吞吐量(單位時間完成的操作個數，比如IOPS)和/或時延(單個操作的時延，比如創建操作的時延)為指標，并且元數據訪問在操作類型、訪問數據量、交互協議等方面均與數據訪問具有較大差異，因此需要一種對于元數據I/O服務質量性能需求的描述和轉換方法。

具體來說，元數據操作類型包括文件創建/刪除操作、目錄創建/刪除操作、查找操作、文件/目錄元數據文件讀寫操作、列取目錄操作等，不同的操作由于在執行過程涉及到客戶端與服務器端不同的交互協議，因此包括不同的子操作，并且每個子操作所涉及的數據量也不相同。比如：創建文件操作在元數據服務器上包括兩個子操作：創建元數據文件、在父目錄中增加目錄項，創建元數據文件要記錄文件的各種屬性信息，而目錄項只是一條文件名到元數據文件的映射，因此第一個子操作要比第二個子操作訪問的數據量要多；而列取目錄操作包括兩個子操作：讀目錄操作、讀目錄項的元數據文件操作，這兩個子操作的數據量都與目錄中含有的目錄項的個數有關。

綜上所述，現有的關于數據I/O性能需求描述和轉換方法不能很好的刻畫元數據I/O的性能需求，難以滿足大規模文件系統中并發多類型負載對元數據性能保障的需求。而缺少合適的元數據I/O性能需求描述和轉換方法就無法進一步采取相應的措施分配資源來保障負載的元數據I/O的性能需求。

發明內容

1、目的

本發明的目的是提出一種并行文件系統中支持元數據I/O服務質量的性能需求描述和轉換方法，達到在多負載的環境中，方便為不同的負載指定負載級的性能需求，同時能夠將負載級的性能需求轉換為文件系統可理解的細粒度的性能目標，從而方便進一步采取相應的措施來分配資源保障負載的元數據I/O的性能需求。

2、技術方案

根據對于元數據I/O性能需求以及元數據操作多樣性和分階段特點的分析，在本方案中采取兩層的性能需求描述和轉換方案，如圖1所示。具體來說就是上層采用用戶指定的負載性能需求描述，然后通過一系列的轉換方式，將負載級的服務質量性能需求轉換成下層的元數據子操作級別的服務質量性能需求指標。

根據對于元數據I/O負載性能需求的分析，在本設計方案中，上層對于負載的性能需求描述采用平均吞吐量R(負載執行過程中單位時間內平均完成操作的個數)和平均時延D(負載執行過程中所有操作的平均時延)作為負載的性能指標，同時使用負載標示符W區分不同的負載，使用優先級P表明不同負載的優先級。因此一個負載的元數據I/O性能需求描述可以通過一個四元組<W，R，D，P>來唯一標示出來，其中W，R，D，P的含義如上。