[發明專利]基于最小化IO訪問沖突和文件分條的大規模分條文件分配系統

有效

• 申請號: 201310228642.2
• 申請日: 2013-06-08
• 公開（公告）號: CN103324577A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 阮利;陳鯤;肖利民;董斌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F12/02
• 分類號: G06F12/02
• 代理公司: 北京金恒聯合知識產權代理事務所 11324
• 代理人: 李強

1.一種基于最小化IO訪問沖突和文件分條的大規模分條文件分配系統，主要完成在在多個并行的磁盤內對要被訪問的大數據分條文件進行文件的有效分配，具有滿足面向大數據分條文件，充分考慮文件請求的磁盤I/O沖突概率需求的技術特征，其特征在于：

在體系結構上，位于適于大數據應用的并行文件系統的體系結構自上而下為，大數據應用層->并行文件系統層->物理硬件層，該體系結構中的并行文件系統層；

在流程上，位于負載均衡處理流程中的最小化I/O訪問沖突的文件分配步驟，是基于分布式決策的負載均衡步驟的前提步驟。

2.基于權利要求1的大規模分條文件分配系統，其特征在于所述體系結構在模塊構成上包括：

（1）系統初始參數獲取模塊：主要完成系統初始參數獲取并將所獲得的參數存儲到并行文件系統中的配置文件中；

（2）文件特征讀取模塊：主要完成從文件應用層和文件系統支撐層讀取系統輸入參數；

（3）文件和磁盤的排序模塊：主要完成按照文件的訪問密度對文件進行排序以及對并行磁盤按照負載進行排序；

（4）基于最小化IO訪問沖突和文件分條的文件分配執行模塊：主要完成執行文件在多個并行的磁盤分配。

3.基于權利要求2的大規模分條文件分配系統，其特征在于其系統運行流程包括：

第一步，系統初始參數獲取，首先由系統初始參數獲取模塊獲取初始系統參數，獲取的五個參數包括并行磁盤的數量、文件的數目、文件分條大小、文件的訪問頻率和文件的文件請求大小，然后系統初始參數獲取模塊將所獲得的參數存儲到并行文件系統中的配置文件中；

第二步，文件特征讀取，首先由文件特征讀取模塊從文件系統應用層和文件系統支撐層讀入輸入參數，然后由文件特征讀取模塊對每個磁盤初始化其訪問密度矩陣；

第三步，文件和磁盤排序，由第一步和第二步得到的數據，基于最小化IO訪問沖突和文件分條對文件和磁盤進行排序，具體計算方法為：首先對每個文件都計算該文件的訪問密度，然后對所有文件按照它們的訪問密度按降序進行排序，得到一個分條文件按照降序排序得到的文件序列，然后根據磁盤的負載對磁盤按照升序進行排序，得到一個并行磁盤按照負載大小升序排列的磁盤隊列。

第四步，基于最小化IO訪問沖突和文件分條的文件分配執行，由文件分配模塊對所有的文件按照其訪問密度的降序采用貪心算法的方式在磁盤上進行分配，即具有最大訪問密度的分條文件放到負載最小的硬盤上。