[發明專利]一種分布式持久性內存的全局地址空間管理方法

有效

• 申請號: 201911417711.8
• 申請日: 2019-12-31
• 公開（公告）號: CN111241011B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 舒繼武;陳游旻;汪慶;陳佩;陸游游
• 申請（專利權）人: 清華大學
• 主分類號: G06F12/1009
• 分類號: G06F12/1009
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

本發明公開了一種分布式持久性內存的全局地址空間管理方法，包括：本地地址分配器發起頁分配請求；全局監控器接收頁分配請求，選擇相應數量的從副本節點分配空閑頁，從副本節點分配完成后將相應的頁地址返還給全局監控器，全局監控器收到所有從副本節點返還的消息后，分配唯一的全局地址，并更新全局地址映射表，將更新后的全局地址映射表中的全局地址映射信息返回給從副本節點；從副本節點通過映射表緩存器緩存全局地址映射信息，并通過本地地址分配器管理數據頁，以處理任意粒度的數據分配請求。該方法能夠保證分布式持久性內存系統中全局地址空間分配時的原子性，提高全局地址分配時的性能、可靠性和擴展性，同時保證系統崩潰后的恢復能力。

技術領域

本發明涉及持久性內存存儲技術領域，特別涉及一種分布式持久性內存的全局地址空間管理方法。

背景技術

非易失性內存技術(non-volatile memory，NVM)作為一種新型的內存級存儲器件，具有讀寫延遲低、帶寬高、數據持久化、可字節尋址、能耗低等特點。非易失性內存技術不僅具備類似磁盤等傳統存儲器件的持久性存儲能力，同時具有和動態隨機存取存儲器(Dynamic Random Access Memory，DRAM)相近的讀寫性能。面對高性能的內存級存儲器件，構建能夠充分發揮非易失性內存器件的分布式存儲系統將具有重要意義。

相關技術的存儲系統中，一種是按照傳統方式將數據以主從備份或糾刪碼的方式存儲在傳統磁盤中，當上層應用用到這些數據時再從磁盤中讀取，每次數據更新都需要訪問磁盤，系統的整體性能受到磁盤訪問延遲的限制，導致存儲系統的整體性能差。另一種是提出將所有的數據都放在動態隨機存取存儲器中，以提高應用在正常操作下的訪存性能，數據的可靠性通過主從備份的方式保證，相同數據的不同副本保存在跨節點的磁盤中。但缺點是，動態隨機存取存儲器密度低，設計這樣的系統需要很高的成本，同時，當出現機器崩潰時，數據的恢復依然需要從磁盤中讀取，且去中心化的元數據管理使得數據恢復首先需要從多個節點中重構哈希表，再通過重構的哈希表進行機器崩潰后的數據恢復，導致整個崩潰恢復過程需要很高的時間開銷。

無論是將數據完全存放在動態隨機存取存儲器中，還是將數據存放在磁盤中，需要時再從磁盤中讀取，都會導致分布式存儲系統的部署成本、系統性能等各個方面受到不同程度的影響。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的目的在于提出一種分布式持久性內存的全局地址空間管理方法，該方法以解決分布式存儲系統中數據可靠性差，機器崩潰情況下恢復性能差，吞吐率不高和延遲較低的問題。

為達到上述目的，本發明實施例提出了一種分布式持久性內存的全局地址空間管理方法，包括：

S1，通過本地地址分配器發起頁分配請求；

S2，通過全局監控器接收所述頁分配請求，根據所述頁分配請求中攜帶的從副本數量選擇相應數量的從副本節點，并通知所述從副本節點分配空閑頁，所述從副本節點分配完成后將相應的頁地址返還給所述全局監控器；

S3，所述全局監控器收到所有從副本節點返還的消息后，分配唯一的全局地址，并更新全局地址映射表，將更新后的全局地址映射表中的全局地址映射信息返回給所述從副本節點；

S4，所述從副本節點通過映射表緩存器緩存所述全局地址映射信息，并通過所述本地地址分配器管理數據頁，以處理任意粒度的數據分配請求。

本發明實施例的一種分布式持久性內存的全局地址空間管理方法，在并發、多用戶場景下，線程隔離的基本塊映射表保證了全局地址空間分配時的性能和隔離性，主從備份的全局地址空間分配方式保證了數據的可靠性。兩階段提交的方式保證了全局地址空間分配時的原子性，由于使用了緩沖區，且內存中的數據與元數據服務器中的數據有相同的存放格式，所以在正常情況下，每次對基本塊映射表和表映射信息的更新無需從內存數據結構中重新拷貝并序列化，從而降低每次對元數據服務器更新的開銷。