[發明專利]對文件存儲系統進行糾刪碼處理的方法、裝置及電子設備

有效

• 申請號: 201910363866.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110083482B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 尹滔
• 申請（專利權）人: 北京金山云網絡技術有限公司;北京金山云科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F16/13;G06F16/16;G06F16/182
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

本申請實施例提供了一種對文件存儲系統進行糾刪碼處理的方法、裝置及電子設備，方法包括：從第一文件存儲系統中獲取待處理數據塊，對待處理數據塊中滿足預設條件的文件進行糾刪碼處理，其中，滿足預設條件的文件為：所占存儲空間大于或等于預設閾值的文件，或所占存儲空間大于預設閾值的文件，將滿足預設條件的文件從第一文件存儲系統中刪除。基于上述處理，能夠節約存儲空間。

技術領域

本申請涉及數據壓縮技術領域，特別是涉及一種對文件存儲系統進行糾刪碼處理的方法、裝置及電子設備。

背景技術

隨著計算機技術的快速發展，需要進行存儲的文件不斷增多，為了節省存儲空間，通常可以對存儲的文件進行數據壓縮處理。

在分布式存儲系統中，為了保證數據的高可用性，一般對同一份數據采用三副本存儲。而三副本的方式會導致占用大量的存儲空間，從而導致較高的存儲成本。為了節省存儲成本，出現了將三副本的數據進行壓縮的EC技術(Erasure?Code-EC糾刪碼)，對待存儲文件進行EC處理后的三副本只占據原來數據存儲空間的一半，因此存儲成本減半。

發明人在實施本發明的過程中發現，當分布式存儲系統中存在大量小文件時，不能對這些大量的小文件進行EC處理，原因是如果進行EC處理后，導致不僅不會節約存儲空間，反而會增加存儲空間，具體原因如下：

1、增加內存：EC化之后，數據的索引數量會比EC化之前多出好多倍。

2、增加磁盤空間：由于進行EC時對數據按照預定的存儲空間閾值(例如：256KB)對齊，因此，對于小于存儲空間閾值的小文件(例如：10KB)，也會占用與預定的存儲空間閾值大小相同的存儲空間(256KB)，導致磁盤空間浪費。

因此，如何對分布式存儲系統中的文件進行EC處理從而節約存儲空間是一個亟待解決的技術問題。

發明內容

本申請實施例的目的在于提供一種對文件存儲系統進行糾刪碼處理的方法、裝置及電子設備，可以節約存儲空間。具體技術方案如下：

第一方面，為了達到上述目的，本申請實施例公開了一種對文件存儲系統進行糾刪碼處理的方法，所述方法包括：

從第一文件存儲系統中獲取待處理數據塊；

對所述待處理數據塊中滿足預設條件的文件進行糾刪碼處理；其中，所述滿足預設條件的文件為：所占存儲空間大于等于預設閾值的文件，或所占存儲空間大于預設閾值的文件；

將所述滿足預設條件的文件從所述第一文件存儲系統中刪除。

可選的，所述待處理數據塊包括：索引文件和數據文件；所述索引文件存儲文件的索引數據，所述數據文件存儲與每個索引對應的文件實際數據；

所述對所述待處理數據塊中滿足預設條件的文件進行糾刪碼處理，包括：

遍歷所述索引文件，將所述索引文件中滿足所述預設條件的文件的唯一識別號ID放入到第一有效列表中；

對所述數據文件中與所述第一有效列表中的ID對應的數據進行糾刪碼處理。

可選的，若所述糾刪碼處理為首次，則在所述糾刪碼處理后，通過數據轉寫的方式將所述滿足預設條件的文件從所述第一文件存儲系統中刪除；

若所述糾刪碼處理為非首次，則在所述糾刪碼處理后，通過數據截斷的方式將所述滿足預設條件的文件從所述第一文件存儲系統中刪除。

可選的，所述通過數據轉寫的方式將所述滿足預設條件的文件從所述第一文件存儲系統中刪除，包括：

對未滿足所述預設條件的文件進行復制并存儲；

將所述待處理數據塊從所述第一文件存儲系統中刪除。