[發明專利]用于超量配置存儲器系統的高效壓縮的算法方法

在審

• 申請號: 201810013193.2
• 申請日: 2018-01-05
• 公開（公告）號: CN108345432A
• 公開（公告）日: 2018-07-31
• 發明（設計）人: 克里希納·T·馬蘭迪;鄭宏忠
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F12/02
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳曉兵

一種動態地選擇存儲器系統中的去重粒度以減少去重粒度并提高哈希表效率的方法，該方法包括：在使用存儲器系統的應用的應用層處選擇一個或多個去重粒度，該一個或多個去重粒度是根據存儲器系統的特征來選擇的；以及分配與所選擇的一個或多個去重粒度中的每一個相對應的存儲區域，其中該方法可以使用存儲器管理器來共享存儲器轉換表和哈希表，并且系統可以使用該方法，使得對于頻繁使用的行能夠使用更高容量的預分配計數器字段。

相關申請的交叉引用

本申請要求于2017年1月25日遞交的美國臨時申請62/450，502 的優先權和權益，其全部內容以引用方式并入本文。

技術領域

本公開的一方面涉及存儲器系統。

背景技術

現代應用(如數據庫、虛擬桌面基礎架構和數據分析)具有相對 較大的主內存占用空間。隨著系統規模的擴大，存儲器容量也應增加， 并且應超線性地增加。

盡管動態隨機存取存儲器(DRAM)技術強勢超越了20納米半導體 器件制造節點，但為了超線性地增加存儲器容量，架構師也可以應用系 統級技術，例如存儲器去重，從而將存儲器的虛擬容量增加高達兩三 倍。一種可能的算法架構可以通過使用類似哈希表的機制來存儲唯一數 據內容，以整合這種存儲器系統。除了使用哈希表、引用計數器和轉換表之外，還可以使用其他數據結構來可靠地跟蹤唯一數據行，并且移除 不再由相應的底層存儲器地址引用的數據行。然而，這樣的技術增加了 元數據開銷，從而實際上破壞了去重的原意圖(例如，增加有效可用存 儲器容量的意圖)。

因此，相關技術中的問題可以包括以下內容：新的存儲技術的缺 點；寫入延遲差、帶寬減小、與物理存儲器系統的耐久性相關聯的問 題；非易失性存儲器的復雜管理；高成本比特率；無效地使用DRAM去 重來存儲唯一內容；算法中存在元數據結構，例如轉換表和引用計數 器；以及未能可靠地實現高數據壓縮率。

發明內容

本公開的實施例提供了用于存儲器系統的算法架構。該算法架構 可以具有三種不同的主要架構技術，這些技術增加了存儲器系統的有效 容量，同時還有效地使用去重哈希表，由此在不顯著增加元數據開銷并 且不給存儲器系統的性能帶來負擔的情況下提高存儲器系統的去重率。

下面描述用于部署該算法架構所采用的三種主要架構技術的硬件 和軟件機制。三種主要的架構技術包括哈希表效率(不增加額外開 銷)、轉換表效率和引用計數器效率。下面還描述用于存儲器系統中有 效的元數據管理的路徑。

本公開的實施例還減少了基于去重的存儲器系統中的輔助數據結 構的開銷，并且還通過提供選擇適當的去重粒度的動態能力來提高對唯 一數據內容去重的效率。所描述的實施例的算法還為不同的應用提供更 高的有效去重率，并且改善對去重元數據的最大貢獻者中的三個。

根據本公開的一方面，提供了一種動態地選擇存儲器系統中的去 重粒度以減少去重粒度并提高哈希表效率的方法，該方法包括：在使用 所述存儲器系統的應用的應用層處選擇一個或多個去重粒度，該一個或 多個去重粒度是根據所述存儲器系統的特征來選擇的；以及分配與所選 擇的一個或多個去重粒度中的每一個相對應的存儲區域。

選擇所述一個或多個去重粒度可以包括使用與使用所述存儲器系 統的所述應用相對應的軟件驅動程序。

該方法還可以包括重新啟動所述存儲器系統，以實現由所述軟件 驅動程序選擇所述一個或多個去重粒度而產生的參數。

選擇所述一個或多個去重粒度可以包括將存儲空間劃分為存儲區 域，每個存儲區域對應于所述一個或多個去重粒度中的一個相應的去重 粒度。

將存儲空間劃分為存儲區域可以由所述存儲器系統的內核驅動程 序來執行。