[發明專利]融合Linux虛擬內存系統和文件系統的持久性內存統一管理方法

有效

• 申請號: 202110489809.5
• 申請日: 2021-04-30
• 公開（公告）號: CN113254198B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王剛;趙盛;張佳辰;胡澤瑞;劉曉光
• 申請（專利權）人: 南開大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 天津創智睿誠知識產權代理有限公司 12251
• 代理人: 王海濱

本發明公開了一種融合Linux虛擬內存系統和文件系統的持久性內存統一管理方法，該方法將存儲資源分為普通文件與內存文件，并統一普通文件與內存文件的分配方式，進程的內存頁框與文件塊處于同一地址空間；進程對內存頁框的匿名映射被修改為對PM數據塊的映射，并通過文件預擴展策略與異步塊回收策略優化內存分配效率；系統的文件讀寫采用從用戶緩沖區的虛擬地址到目標文件塊物理地址的重映射操作，以消除不必要的數據拷貝。本發明實現了單個PM分區可同時提供內存分配和文件存儲服務，利用內存和文件系統統一管理的優勢，通過減少數據拷貝來提升文件讀寫性能。

技術領域

本發明屬于持久性內存存儲技術領域，具體涉及一種融合Linux虛擬內存系統和文件系統的持久性內存統一管理方法。

背景技術

隨著PCM、ReRAM、STT-MRAM和3D-XPoint等新型非易失存儲器技術(NVM,Non-Volatile Memory)的發展，NVM和DRAM之間的速度越來越接近，基于NVM的內存設備也陸續在市場中出現，這種設備被稱為持久性內存(PM,Persistent Memory)。由于PM基于NVM介質，并直接連接到內存總線，因此PM兼具內存的可字節尋址特性和外存的數據持久性特性。

不同于固態硬盤(SSD,Solid State Drive)主要針對外存儲性能的改進，PM的出現還給操作系統的存儲層次抽象帶來了新的挑戰。近年來的相關工作，大多是針對PM單純作為內存或單純作為外存開展研究的。其一是在內核中實現的PM感知文件系統，它們考慮到PM細粒度持久化的特點，利用了不同方法來解決崩潰一致性問題，并優化了文件操作的性能。其二是實現在用戶態的PM感知文件系統，減少了內核態和用戶態之間切換。PM感知文件系統需要應用程序主動利用文件映射的方式操作文件，并且由于PM分區被格式化為文件系統，應用程序無法再從該分區分配內存使用。另一方面，一些工作在現有內存管理系統的基礎上針對PM加入對數據持久化的支持，優化了PM內存空間分配，降低了分配延遲，并將降低碎片率作為研究目標。這些PM內存管理系統的接口大多與現存的內存分配接口、文件操作接口不兼容，增加了現有應用程序或基礎軟件庫的移植和維護難度。

操作系統領域現有PM虛擬化的相關工作大多從PM用作內存或PM用作存儲兩個方向著手，解決各自所面臨的問題。但是，以PM作內存會犧牲其持久性或是需要應用適配新的編程接口，以PM作存儲又會導致PM設備無法用于進程的內存分配。

發明內容

本發明的目的是為了解決當前持久性內存的資源管理方案無法兼顧持久化特性和可字節尋址特性的問題，而提出一種融合Linux虛擬內存系統和文件系統的持久性內存(PM)統一管理方法。

本發明是通過以下技術方案實現的：

一種融合Linux虛擬內存系統和文件系統的持久性內存(PM)統一管理方法，將存儲資源分為普通文件與內存文件，并統一普通文件與內存文件的分配方式，進程的內存頁框與文件塊處于同一地址空間；

內存分配和釋放：進程對內存頁框的匿名映射被修改為對PM數據塊的映射，并通過文件預擴展策略與異步塊回收策略優化內存分配效率；

零拷貝讀寫：系統的文件讀寫采用從用戶緩沖區的虛擬地址到目標文件塊物理地址的重映射操作，以消除不必要的數據拷貝。

在上述技術方案中，普通文件支持直接讀寫操作，內存文件不支持直接讀寫操作，只支持被映射到進程的虛擬內存地址空間；內存文件所管理的文件塊被用戶進程用作易失內存使用；內存文件塊和普通文件塊的分配和釋放都依賴于Linux內核的Ext4-DAX文件系統的塊分配器。

在上述技術方案中，在用戶進程申請內存時，從進程對應的內存文件末端進行擴展并將新擴展的部分映射到用戶地址空間并返回這個地址；在用戶進程釋放內存時，首先會刪除對應的虛擬映射區，然后調用ext4_punch_hole，利用文件系統的文件打洞特性將該虛擬映射區對應的內存文件塊回收。