[發(fā)明專利]一種基于存儲介質(zhì)類型和加權(quán)配額的存儲資源管理方法

有效

• 申請?zhí)枺?/td>: 201710106253.0
• 申請日: 2017-02-27
• 公開（公告）號: CN106990915B
• 公開（公告）日: 2020-01-14
• 發(fā)明（設(shè)計）人: 吳文峻;馮夢琦
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 11251 北京科迪生專利代理有限責(zé)任公司
• 代理人: 楊學(xué)明;顧煒

1.一種基于存儲介質(zhì)類型和加權(quán)配額的存儲資源管理方法，其特征在于：包括用戶空間文件系統(tǒng)的掛載和讀寫請求的分發(fā)兩個步驟；

所述用戶空間文件系統(tǒng)的掛載步驟如下：

(11)將多塊固態(tài)硬盤和機械硬盤成對分別掛載于當(dāng)前文件系統(tǒng)中；

(12)將每對固態(tài)硬盤和機械硬盤的掛載目錄的訪問封裝到用戶空間文件系統(tǒng)FUSE中，用戶空間文件系統(tǒng)FUSE優(yōu)先將訪問重定向到固態(tài)硬盤目錄中，當(dāng)固態(tài)硬盤的存儲空間不足時，使用近期最少使用算法(LRU)將固態(tài)硬盤中近期最少使用的文件置換到機械硬盤中；

(13)啟動多個進程，運行步驟(12)中的用戶空間文件系統(tǒng)，并將這多個進程提供的文件服務(wù)都掛載到Hadoop系統(tǒng)配置中的中間數(shù)據(jù)存儲目錄中，監(jiān)聽這些中間數(shù)據(jù)存儲目錄的讀寫請求；

所述讀寫請求的分發(fā)步驟如下：

(21)將步驟(13)中的多個進程從1開始進行順序編號，檢查這些進程所提供文件服務(wù)的剩余容量，將這多個剩余容量的值，記錄為請求分發(fā)的權(quán)重比例數(shù)組W；

(22)當(dāng)對于Hadoop集群中用戶提交的計算任務(wù)產(chǎn)生讀寫請求時，將讀寫請求的路徑名和文件名，以及步驟(21)中計算的權(quán)重比例數(shù)組W輸入Weighting Jump算法，將輸出的值作為進程編號，并將讀寫請求分發(fā)到步驟(21)中符合該編號的進程中，完成請求分發(fā)的操作；

所述步驟(12)中，使用近期最少使用算法(LRU)將固態(tài)硬盤中近期最少使用的文件置換到機械硬盤中的具體過程如下：

(31)當(dāng)固態(tài)硬盤目錄的空間不足并且置換算法使用的調(diào)度緩存隊列不為空時，彈出緩存隊列首部的文件路徑；

(32)將步驟(31)的文件路徑下的文件復(fù)制到機械硬盤目錄中；

(33)刪除固態(tài)硬盤目錄下的該文件；

(34)在固態(tài)硬盤目錄中建立該文件的符號鏈接，指向步驟(32)中的機械硬盤目錄中的該文件；

所述步驟(22)中，Weighting Jump算法的具體實現(xiàn)如下：

(1)輸入步驟(22)中的權(quán)重比例數(shù)組W、請求路徑和文件名；

(2)將請求路徑和文件名輸入字符串哈希函數(shù)，哈希函數(shù)的輸出是一個長整型；

(3)將步驟(2)中獲得的長整型作為種子輸入64位的線性同余隨機數(shù)發(fā)生器；

(4)新建變量b為0，變量b為一個整數(shù)，代表本算法計算的進程編號，新建變量n，為步驟(21)中進程的數(shù)量；

(5)運行步驟(3)中的隨機數(shù)發(fā)生器，隨機數(shù)發(fā)生器的輸出是一個隨機數(shù)R；

(6)根據(jù)公式求出j的最大值，若j的值小于n，則將b的值更改為j；若j的值大于等于n，則維持b的值不變，公式中W_x為步驟(1)中權(quán)重比例數(shù)組W的第x項，而floor()函數(shù)表示求上確界；

(7)重復(fù)步驟(5)至步驟(6)直至b的值不再變化，輸出變量b，變量b是輸出的進程編號；在輸入請求路徑、文件名時，分發(fā)給編號為b的進程進行處理，將此次讀寫請求分發(fā)給編號為b的進程，從而完成請求分發(fā)步驟。

2.根據(jù)權(quán)利要求1所述的基于存儲介質(zhì)類型和加權(quán)配額的存儲資源管理方法，其特征在于：所述步驟(12)中，固態(tài)硬盤目錄和機械硬盤目錄的訪問封裝采用FUSE庫封裝，對外實現(xiàn)POSIX接口的文件操作。

3.根據(jù)權(quán)利要求1所述的基于存儲介質(zhì)類型和加權(quán)配額的存儲資源管理方法，其特征在于：所述步驟(12)中，將每對固態(tài)硬盤和機械硬盤的掛載目錄的訪問封裝到用戶空間文件系統(tǒng)FUSE中時，需要構(gòu)建用戶空間文件系統(tǒng)的邏輯視圖，所述邏輯視圖的構(gòu)建是通過符號鏈接技術(shù)實現(xiàn)的，實現(xiàn)過程為：用戶空間文件系統(tǒng)將固態(tài)硬盤目錄作為邏輯視圖，置換到機械硬盤目錄中的文件以符號鏈接的形式存放到固態(tài)硬盤目錄中，指向機械硬盤中的原文件，而置換到固態(tài)硬盤目錄中的文件以原文件的形式存放到固態(tài)硬盤目錄中。