[發明專利]數據處理方法及存儲設備

在審

• 申請號: 202010784929.3
• 申請日: 2020-08-06
• 公開（公告）號: CN113806341A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 任仁;劉中全;劉宏偉;朱芳芳
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06F3/06
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 顏晶

本申請提供了一種數據處理方法及存儲設備，屬于存儲技術領域。本申請由于存儲設備在重復數據刪除處理和壓縮處理時采用了不一樣的粒度，采用大粒度對所述數據進行重復數據刪除處理，采用小粒度對所述數據進行壓縮處理，因此擺脫了重刪粒度和壓縮粒度必須相同的限制，一定程度上避免粒度過大而導致重刪率下降以及粒度過小而導致壓縮率下降，有助于提升重刪壓縮整體的縮減率。

本申請要求于2020年06月11日提交的申請號為202010526840.7、發明名稱為“一種存儲系統、存儲節點和數據存儲方法”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本申請涉及存儲技術領域，特別涉及一種數據處理方法及存儲設備。

背景技術

重刪和壓縮是存儲行業中的關鍵技術。存儲設備通過進行重刪和壓縮，能夠減少實際存儲的數據規模，節約數據在存儲設備中占用的存儲空間，提高存儲設備的存儲效率。

目前，存儲設備會預先設置一個固定的粒度，基于該粒度進行重刪，并基于該粒度進行壓縮。例如，預先將粒度設定為8千字節(Kilobyte，KB)，則存儲設備在進行重刪時，會判斷每8KB的數據塊是否是重復塊，如果某個8KB的數據塊是重復塊，則存儲設備刪除該8KB的數據塊；并且，存儲設備在進行壓縮時，每一次壓縮8KB的數據塊。

采用上述方法處理數據時，重刪粒度和壓縮粒度必須是相同的，可見該方法局限性強。

發明內容

本申請實施例提供了一種數據處理方法及存儲設備，一定程度上解決數據處理方法面臨的局限性。所述技術方案如下：

第一方面，提供了一種數據處理方法，該方法由存儲設備執行，包括：獲取數據；基于第一粒度對所述數據進行重復數據刪除處理；基于第二粒度對所述數據進行壓縮處理，所述第二粒度的尺寸大于所述第一粒度的尺寸；將經過所述重復數據刪除處理和所述壓縮處理的數據存儲在所述存儲設備的硬盤中。

在第一方面提供的方法中，由于存儲設備在重復數據刪除處理和壓縮處理時采用了不一樣的粒度，采用大粒度進行重復數據刪除處理，采用小粒度進行壓縮處理，因此擺脫了重刪粒度和壓縮粒度必須相同的限制，一定程度上避免粒度過大而導致重刪率下降以及粒度過小而導致壓縮率下降，有助于提升重刪壓縮整體的縮減率。

在第一方面中，本申請并不限定所述重復數據刪除處理和所述壓縮處理的先后順序。某些場景下可以先執行壓縮處理再執行重復數據刪除處理，在某些場景下可以先執行重復數據刪除處理再執行壓縮處理。以先執行重復數據刪除處理再執行壓縮處理為例，在經過重復數據刪除處理之后得到重復塊和非重復塊，本申請可以只對非重復塊進行壓縮處理。如果先執行壓縮處理再執行重復數據刪除處理，就是對所述數據進行壓縮以后得到壓縮塊，再針對所述壓縮塊進行重復數據刪除處理。

可選地，所述存儲設備中存儲有元數據，所述元數據是基于元數據管理粒度來管理的，所述元數據管理粒度的尺寸小于或等于設定的最大值，并且大于或等于設定的最小值，所述第一粒度的尺寸等于所述最小值的整數倍。

通過這種方式，由于將元數據管理粒度的最小值作為重復數據刪除處理時使用的粒度，有助于重復數據刪除處理時取到較優粒度，從而提高重刪率并節省存儲資源。

可選地，所述第二粒度的尺寸是所述最小值與壓縮率的乘積。

通過這種方式，由于壓縮處理時采用的粒度不再是固定的值，而是根據壓縮率動態選擇的，從而保證數據讀取性能不下降的情況下壓縮率較優。

可選地，所述基于第一粒度對所述數據進行重復數據刪除處理包括：將所述數據劃分為多個數據塊；獲取每個數據塊的指紋；根據所述指紋，從所述多個數據塊中確定重復塊以及非重復塊。