[發明專利]一種基于存儲介質類型和加權配額的存儲資源管理方法

有效

• 申請號: 201710106253.0
• 申請日: 2017-02-27
• 公開（公告）號: CN106990915B
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 吳文峻;馮夢琦
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 11251 北京科迪生專利代理有限責任公司
• 代理人: 楊學明;顧煒

本發明涉及一種基于存儲介質類型和加權配額的存儲資源管理方法，包括步驟：存儲設備和用戶空間文件系統的掛載和讀寫請求分發，其中讀寫請求分發采用的Weighting Jump算法引入了加權分配特性，具有較高的計算速度、無狀態調度和極低的內存消耗，這種方法采用類似谷歌John Lamping和Eric Veach提出的依概率跳變的方法來實現。能夠從概率的層面保證存儲資源的分配服從設定的權重，最小化標準誤，并且具有比原有Hadoop集群的資源管理系統Yarn中實現更低的時間復雜度和內存消耗。克服了之前資源管理系統Yarn中實現的磁盤資源分配算法輪詢檢索目錄的低效性，具有可伸縮性，且在擴展時，能夠依概率最小化原有數據的移動。

技術領域

本發明涉及一種基于存儲介質類型和加權配額的存儲資源管理方法，屬于大數據存儲和分布式計算領域。

背景技術

隨著大數據存儲和混合存儲介質技術的發展，存儲資源管理和分配方法變得越來越重要，也面臨著越來越嚴重的考驗。Apache開源社區開發的Hadoop大數據處理系統已經成為大數據領域最具代表性的解決方案。Hadoop包括HDFS(Hadoop Distributed FileSystem)分布式文件系統和Yarn(Yet Another Resource Negotiator)資源管理系統和MapReduce數據處理框架。其中運行的MapReduce應用對于數據的訪問分為訪問map階段讀取輸入文件時、Reduce階段寫入輸出文件時對HDFS分布式文件系統的訪問和shuffle階段讀寫中間數據時對于本地系統存儲資源的訪問。隨著混合存儲技術的發展，應用對于存儲資源的訪問也引入不同的考慮因素，因此基于存儲介質和加權分配的存儲資源分配技術也得到學術界和工業界越來越多的重視。

由于MapReduce應用在shuffle(數據混洗)階段把中間數據存放于本地系統中，訪問序列具有高隨機性并對于特定應用會產生數倍于原始輸入數據大小的中間數據文件。因此優化中間數據的存儲效率有較高的研究價值。對于中間數據的存儲資源管理，能否根據存儲資源的存儲空間容量平衡地分配存儲數據是至關重要的。從存儲效率的角度來看，存儲資源管理技術需要滿足的條件包括平衡性、低內存效率、存儲介質的選擇性、低算法復雜度、容錯性和伸縮性。尤其是伸縮性，需要在新增存儲設備時，最小化已有數據的移動。然而在現今已有的存儲資源管理或分配方法中，還沒有一種方法能有效的將上述條件全部滿足。本發明提出了一種新的存儲資源管理方法，能有效的利用混合存儲介質的差異性并滿足上述優化要求。

發明內容

本發明的技術解決解決問題：克服現有技術的不足，提供一種內存消耗小的高性能的存儲資源管理方法，該方法將存儲資源的介質信息和容量信息有效的結合起來進行加權一致性哈希計算，能夠更平衡高效地管理存儲資源。

本發明的技術解決方案：一種基于存儲介質類型和加權配額的存儲資源管理方法，包括：用戶空間文件系統的掛載和讀寫請求的分發兩個步驟；

所述用戶空間文件系統的掛載步驟如下：

(11)將多塊固態硬盤和機械硬盤成對分別掛載于當前文件系統中。將第1塊固態硬盤和第1塊機械硬盤分別掛載到有完全讀寫權限的目錄/ssd-1和/hdd-1下，將第2塊固態硬盤和第2塊機械硬盤分別掛載到有完全讀寫權限的目錄/ssd-2和/hdd-2下，將第n塊固態硬盤和第n塊機械硬盤分別掛載到有完全讀寫權限的目錄/ssd-n和/hdd-n下，直至將全部存儲設備掛載到/ssd1～/ssdn和/hddn～/hddn下；

(12)將每對固態硬盤目錄和機械硬盤目錄的訪問封裝到用戶空間文件系統中，用戶空間文件系統優先將訪問重定向到固態硬盤目錄中，當固態硬盤目錄的存儲空間不足時，使用近期最少使用算法(LRU)將固態硬盤目錄中近期最少使用的文件置換到機械硬盤目錄中。

(13)啟動多個進程,運行步驟(12)中的用戶空間文件系統，并將這多個進程提供的文件服務都掛載到Hadoop系統配置中的中間數據存儲目錄中，監聽這些中間數據存儲目錄的讀寫請求；