[發明專利]分布式存儲系統、方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010954902.4
• 申請日: 2020-09-11
• 公開（公告）號: CN112035428A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 張致江;王芝斌;張明;江國威;夏靜霆;黃開元;徐亞;殷奎
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/14
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明實施例提供一種分布式存儲系統、方法、裝置、電子設備和存儲介質，該系統包括：熱緩存資源池，用于緩存文件，并將所述文件置于合并隊列；冷存儲資源池，用于存儲合并數據，所述合并數據是所述合并隊列中文件數量達到預設閾值后合并而成；元數據存儲資源池，用于存儲所述文件的元數據的索引信息、合并后的元數據以及自定義映射信息中的至少一種。本發明實施例提供的系統、方法、裝置、電子設備和存儲介質，解決了寫入性能瓶頸和文件直接落盤的膨脹率問題，并且從合并規模層面上減少了合并操作帶來的操作開銷，同時保證了合并數據的大小可控，有助于進一步消除落盤膨脹的問題。

技術領域

本發明涉及存儲領域，尤其涉及一種分布式存儲系統、方法、裝置、電子設備和存儲介質。

背景技術

隨著網絡服務的日益發展，海量小文件(Lots Of Small Files，LOSF)的存儲問題也日益突出。

海量小文件的存儲會引發很多問題，海量小文件直接落盤會引起大量的數據均衡，導致數據均衡時間過長，存儲系統的穩定性也因此受到挑戰；此外，小文件直接落盤會引起大量的膨脹，造成存儲資源的空間浪費。

發明內容

本發明實施例提供一種分布式存儲系統、方法、裝置、電子設備和存儲介質，用以解決現有技術中小文件存儲穩定性差、空間浪費的缺陷。

第一方面，本發明實施例提供一種分布式存儲系統，包括：

熱緩存資源池，用于緩存文件，并將所述文件置于合并隊列；

冷存儲資源池，用于存儲合并數據，所述合并數據是所述合并隊列中的文件數量達到預設閾值后合并而成；

元數據存儲資源池，用于存儲所述文件的元數據的索引信息、合并后的元數據以及自定義映射信息中的至少一種。

可選地，所述熱緩存資源池、所述冷存儲資源池和所述元數據存儲資源池均包括若干個存儲集群，每一存儲集群包括多個存儲資源池，每一存儲資源池包括多個可用域。

可選地，所述元數據存儲資源池包括：

第一資源池，用于存儲所述自定義映射信息；

第二資源池，用于存儲所述元數據的索引信息；

第三資源池，用于存儲所述合并后的元數據。

可選地，對象存儲網關與所述熱緩存資源池和所述冷存儲資源池均基于分布式文件架構的同一層結構設置。

可選地，所述文件置于的合并隊列為所述文件所屬桶對應的合并隊列，所述文件所屬桶是對所述文件的文件名稱進行哈希取模得到的。

第二方面，本發明實施例提供一種基于第一方面提供的分布式存儲系統的文件存儲方法，包括：

若檢測到存在文件寫入，則將所述文件緩存入所述熱緩存資源池，并將所述文件置于合并隊列；

檢測所述合并隊列中的文件數量，若所述文件數量達到預設閾值，則對所述合并隊列中的文件進行合并，得到合并數據并存入所述冷存儲資源池。

可選地，所述對所述合并隊列中的文件進行合并，得到合并數據并存入所述冷存儲資源池，具體包括：

對所述合并隊列中的文件進行合并，得到合并數據；

若所述合并數據與所述熱緩存資源池內對應緩存的文件一致，則將所述合并數據存入所述冷存儲資源池。

第三方面，本發明實施例提供一種基于第一方面提供的分布式存儲系統的文件讀取方法，包括：

若檢測到文件讀取請求，則在所述熱緩存資源池中查詢所述文件讀取請求指示的待讀取文件；