[發明專利]一種基于混合存儲設備的虛擬混合文件系統

在審

• 申請號: 201710991025.6
• 申請日: 2017-10-20
• 公開（公告）號: CN107766002A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 馮丹;張崢;譚支鵬;陳儉喜;周煒
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 華中科技大學專利中心42201
• 代理人: 李智,曹葆青

技術領域

本發明屬于計算機存儲技術領域，更具體地，涉及一種基于混合存儲設備的虛擬混合文件系統。

背景技術

隨著計算機存儲技術的不斷發展，新型存儲介質不斷涌現并被加入到存儲系統中。這些新型存儲介質普遍具有非易失性、存儲密度高、功耗低、抗輻射等優點，且讀寫性能接近DRAM(Dynamic Random Access Memory，即動態隨機存取存儲器)。由于新型存儲介質具有不同于傳統磁盤的性能特點，傳統基于磁盤的文件系統不在適用于新型存儲介質，國內外眾多研究人員分別針對新型存儲介質設計開發了相應的文件系統，然而這些文件系統本身也有一定的局限性和適用范圍。比如，容量較小，價格相對比較昂貴，適合存儲訪問頻繁的小文件等。

目前，隨著大數據的不斷發展，海量數據對當前的文件系統提出了巨大的挑戰。從應用層面看，當前的數據規模大，種類繁多，數據訪問模式特點復雜，單一的文件系統無法快速完成海量數據的存儲和快速處理以及分析。部署多種存儲介質和性能特點各異的文件系統，使用傳統分層的存儲架構來存儲相應的數據可以很好的解決這個問題，然而由于各個文件系統的相對獨立性，使得不斷變化的數據無法很好的在性能特點各異的文件系統之間流動遷移，進而導致了低效的數據組織和調度。例如，始終將數據存放在基于新型存儲介質的文件系統中，使得該文件系統空間被很快耗盡，存儲訪問頻繁的數據在基于傳統磁盤的文件系統中增加了數據的訪問延遲等。

由此可見，現有技術存在不同類型和特點的數據在文件系統間的布局和調度不合理，文件系統的空間利用率低和存儲系統的訪問性能差的技術問題。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于混合存儲設備的虛擬混合文件系統，由此解決現有技術存在不同類型和特點的數據在文件系統間的布局和調度不合理，文件系統的空間利用率低和存儲系統的訪問性能差的技術問題。

為實現上述目的，本發明提供了一種基于混合存儲設備的虛擬混合文件系統，所述虛擬混合文件系統包括基于可字節尋址的隨機訪問存儲器的文件系統和基于塊設備的文件系統，混合存儲設備包括可字節尋址的隨機訪問存儲器和塊設備，所述塊設備為磁盤或者基于閃存的固態硬盤；

所述可字節尋址的隨機訪問存儲器連接在內存總線，使用內存地址訪問，與內存統一編址；可字節尋址的隨機訪問存儲器掛載基于可字節尋址的隨機訪問存儲器的文件系統；所述塊設備連接在I/O總線上；塊設備掛載基于塊設備的文件系統；虛擬混合文件系統的地址空間用連續的塊號表示，在邏輯上順序的連接在一起，并使用統一的邏輯地址訪問。

進一步的，虛擬混合文件系統根據寫數據大小將寫數據分為小文件和大文件，將小文件存儲在基于可字節尋址的隨機訪問存儲器的文件系統中，將大文件加入寫隊列，然后以log方式寫入基于塊設備的文件系統。

進一步的，虛擬混合文件系統根據讀請求，從基于可字節尋址的隨機訪問存儲器的文件系統中取出小文件或者從基于塊設備的文件系統中取出大文件。

進一步的，基于可字節尋址的隨機訪問存儲器的文件系統用于記錄塊設備中大文件訪問次數，根據塊設備中大文件訪問次數得到塊設備中的熱數據，并將塊設備中的熱數據遷移到基于可字節尋址的隨機訪問存儲器的文件系統中，然后釋放在基于塊設備的文件系統中熱數據占用的存儲空間。

進一步的，基于可字節尋址的隨機訪問存儲器的文件系統的存儲空間小于閾值時，遷移基于可字節尋址的隨機訪問存儲器的文件系統中最近最久未訪問的數據到基于塊設備的文件系統中。

總體而言，通過本發明所構思的以上技術方案與現有技術相比，能夠取得下列有益效果：

(1)本發明優化不同類型和特點的數據在文件系統間的布局和調度。將小文件存儲在基于可字節尋址的隨機訪問存儲的文件系統中，提高了元數據的訪問性能；同時，將大文件存儲在基于塊設備的文件系統中，提高了整個混合存儲系統的空間利用率。

(2)本發明的虛擬混合文件系統的地址空間用連續的塊號表示，在邏輯上將各存儲系統的地址空間順序的連接在一起，并使用統一的邏輯地址訪問，有效的兼容了現有的存儲系統，同時使得不斷變化的數據可以靈活的在性能各異的文件系統之間進行準確的調度遷移。

(3)本發明的虛擬混合文件系統實現了不同存儲系統的異構，有效的屏蔽了底層性能各異的存儲系統的實現細節，實現了多種混合存儲系統的統一訪問。

(4)本發明的虛擬混合文件系統，根據不同存儲系統的特點，有針對性的進行數據存儲，在各個存儲系統之間能進行有效的負載均衡，有效的避免了存儲瓶頸，實現整個存儲系統性能的提升。