[發明專利]一種分布式存儲系統及其存儲方法

有效

• 申請號: 201910095775.4
• 申請日: 2019-01-31
• 公開（公告）號: CN111506253B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 段培樂
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種分布式存儲系統及其存儲方法，所述分布式存儲系統主要包括：元數據管理單元，設置于內存，用于根據數據熱度閾值獲取內存中的冷元數據，發送至元數據寫入單元；所述元數據寫入單元，設置于內存，用于將所述冷元數據寫入磁盤存儲單元；所述磁盤存儲單元，用于響應元數據訪問請求，并根據預設時間間隔對所存儲的元數據創建快照。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種分布式存儲系統及其存儲方法。

背景技術

元數據(Metadata)，又稱中介數據、中繼數據，為描述數據的數據(data?aboutdata)，主要是描述數據屬性(property)的信息，用來支持如指示存儲位置、歷史數據、資源查找、文件記錄等功能。由于元數據能夠協助數據檢索，其訪問頻率較高，因此，對元數據進行存儲時多是將其保存在內存中，以提高元數據的訪問效率。

然而，隨著元數據數量的不斷增加，設備物理內存的容量已無法支持對所有元數據的內存存儲。為了解決設備內存的容量上限問題，目前常用的一種方式是將內存中的部分元數據轉移至磁盤中，以此緩解內存的容量問題，如Hadoop?HDFS?Archive提供了將文件元數據存放到內存之外的方法，即通過Archive可以將多個文件的元數據歸檔為一個文件，存儲到磁盤。然而該方式在選擇要轉移的元數據時，需要人工確定元數據，并且對于歸檔后的文件元數據不能修改。這種方式對于需要訪問磁盤中存儲的元數據，不僅會影響訪問速率，對于訪問頻率高的元數據還會降低磁盤的使用壽命。

此外，在文件數據存儲方式中還存在一種SuperCache的緩存方式，即用內存保存讀過的磁盤數據，如此，將訪問頻率高的數據存儲在內存中，將訪問頻率低的數據存儲在磁盤中，以提升文件的讀取速率。然而，該方式在進程或設備故障時，并不能有效保護內存中的數據，導致文件數據丟失。由此可見，目前亟需提供一種元數據存儲方案，以確保元數據的高訪問速率以及對系統故障的高容錯率。

發明內容

鑒于上述問題，本發明實施例提出了一種分布式存儲系統及其存儲方法，主要目的在于克服物理內存的容量瓶頸，提升存儲系統的元數據訪問速率以及容錯率。

為達到上述目的，本發明實施例主要提供如下技術方案：

一方面，本發明實施例提供一種分布式存儲系統，該系統具體包括：

元數據管理單元，設置于內存，用于根據數據熱度閾值獲取內存中的冷元數據，發送至元數據寫入單元；

所述元數據寫入單元，設置于內存，用于將所述冷元數據寫入磁盤存儲單元；

所述磁盤存儲單元，用于響應元數據訪問請求，并根據預設時間間隔對所存儲的元數據創建快照。

另一方面，本發明實施例提供一種分布式存儲系統的存儲方法，該方法包括：

根據元數據寫入請求，判斷內存的可用存儲空間是否小于閾值；

若小于所述閾值，則利用元數據管理單元將內存中的冷元數據移動至元數據寫入單元；

根據預置時間間隔，將元數據寫入單元中的冷元數據通過預置接口批量寫入磁盤存儲單元，所述磁盤存儲單元用于響應元數據訪問請求的存儲區域。

另一方面，本發明實施例提供一種處理器，所述處理器用于運行程序，其中，所述程序運行時執行上述的分布式存儲系統的存儲方法。

另一方面，本發明實施例提供一種電子設備，所述電子設備中包括處理器和存儲器；存儲器，用于存儲程序；處理器，耦合至所述存儲器，用于運行所述程序，以執行上述分布式存儲系統的存儲方法。