[發明專利]一種使用非易失性內存介質的鍵值對持久存儲方法及系統

有效

• 申請號: 201710834389.3
• 申請日: 2017-09-15
• 公開（公告）號: CN107728937B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 黃林鵬;朱燕民;沈艷艷;劉昊
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

本發明提供了一種使用非易失性內存介質的鍵值對持久存儲方法及系統，同時使用易失性內存介質和非易失性內存介質構建持久鍵值存儲系統，在易失性內存介質中構建靜態散列表接收來自客戶端的讀寫訪問請求；在非易失性內存介質中構建動態散列表存儲鍵值對的元數據和鍵值對在數據區的內存偏移地址，在非易失性內存中的動態散列表之后構建數據存儲區，存放鍵值對大小、鍵值對數據和鍵值對校驗和；使用結合鍵值對校驗和的檢查點的機制，維護持久鍵值存儲系統的數據一致性。本發明利用了不同內存特性的優點，提升性能的同時實現了對鍵值數據對的持久有效存儲、兼顧了內存利用的高效率，降低了維護一致性的系統代價。

技術領域

本發明涉及非易失性內存和數據存儲系統軟件領域，具體地，涉及一種使用非易失性內存介質設計實現鍵值持久存儲的方法及系統。

背景技術

新型的可字節尋址非易失性內存NVM(Non-Volatile Memory)介質技術的興起,對存儲領域帶來了新的巨大機遇和挑戰，引發了產業界和學術界對異構混合內存體系架構及其相關系統軟件的研究興趣，形成了一系列新的研究熱點。NVM器件具有可字節尋址，非易失性和高存儲密度，低能耗等特點，具備傳統易失性內存DRAM所無法比擬的諸多優勢。

隨著大數據時代的發展與演變，數據正在以前所未有的速度增長與累積，數據處理的實時性和高效性提出了更高的要求和挑戰。鍵值存儲系統(Key-Value Store)又稱KVS系統，作為具有代表性的存儲系統軟件，在一些大規模商用網站如社交媒體，在線交易等應用場景中，對提升系統性能改善用戶體驗等方面發揮著極其重要的作用?，F有的常用鍵值存儲系統如LevelDB，RocksDB等，主要針對HDD或SSD設計，在應對大量的數據需要存放在內存中以提升處理速度的應用場景中表現出較大的性能瓶頸?，F存的內存鍵值系統如Redis，Memcached等缺乏持久存儲能力或持久存儲需要依賴更加底層的文件系統的協助，增加了軟件棧的層數，表現出了系統架構上的局限性。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種使用非易失性內存介質的鍵值對持久存儲方法及系統。

根據本發明提供的一種使用非易失性內存介質的鍵值對持久存儲方法，同時使用易失性內存介質和非易失性內存介質構建持久鍵值存儲系統，并包括步驟：

易失性內存介質構建步驟：在易失性內存介質中構建靜態散列表接收來自客戶端的讀寫訪問請求；

非易失性內存介質構建步驟：在非易失性內存介質中構建動態散列表存儲鍵值對的元數據和鍵值對在數據區的內存偏移地址，在非易失性內存中的動態散列表之后構建數據存儲區，存放鍵值對大小、鍵值對數據和鍵值對校驗和；

數據一致性保障步驟：使用結合鍵值對校驗和的檢查點的機制，維護持久鍵值存儲系統的數據一致性。

優選的，所述靜態散列表大小固定，每一個散列表中含有2^¹⁶個桶，每個桶中含有四個存儲單元，每個存儲單元中含有64位的鍵的散列值、鍵值對在非易失性內存存儲區中64位的內存偏移地址和32位的鍵值對校驗和。

優選的，所述靜態散列表中的散列算法采用兩個散列函數的布谷鳥散列算法，當靜態散列表的基本填滿時，對該靜態散列表進行固定操作，固定后的靜態散列表將通過合并線程和位于非易失性內存中動態散列表進行合并，完成動態擴展。

優選的，所述動態散列表的初始大小和一個靜態散列表相同，含有2^¹⁶個桶，每個桶中含有四個存儲單元，每個存儲單元中含有一個1位的標志位，該標志位標識該存儲單元是否已被占用，一個64位的鍵的散列值，一個64位的鍵值對在非易失性內存存儲區中的內存偏移地址和一個32位的鍵值對校驗和。

優選的，所述結合鍵值對校驗和的檢查點的機制包括：