[發明專利]一種數據存儲方法及裝置

有效

• 申請號: 201910999337.0
• 申請日: 2019-10-17
• 公開（公告）號: CN112684975B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 饒知
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請公開了一種數據存儲方法及裝置，方法包括：接收數據寫入請求，數據寫入請求中攜帶待寫數據，待寫數據包括至少一個數據塊；計算每個數據塊的指紋，指紋用于唯一標識每個數據塊；確定每個數據塊的指紋是否存在指紋表中，指紋表中包括存儲在高速存儲介質中的數據塊對應指紋及存儲在低速存儲介質中的數據塊對應的指紋；對待寫數據執行重刪操作：將指紋存在于指紋表中的數據塊指向指紋表中的指紋對應數據塊的存儲地址，并從待寫數據中刪除其指紋存在于指紋表中的數據塊；將經過重刪操作的待寫數據存儲至高速存儲介質或者低速存儲介質。采用本申請實施例的方案通過使用全局指紋表對存儲數據進行重刪后存儲，能夠有效提升存儲效率，節省存儲空間。

技術領域

本申請涉及存儲領域，尤其涉及一種數據存儲方法及裝置。

背景技術

在存儲技術領域，面臨的挑戰來自于用戶不斷增長的容量和性能要求。隨著數據量的不斷增長，需要不斷的購買存儲設備，增加存儲成本。對于數據生命周期的各個環節，數據的性能也有不同的訴求，需要不斷的對數據進行調整。比如在生產階段需要部署在高性能存儲設備上，在歸檔階段需要搬移數據到低性能廉價存儲設備上。如何簡化數據管理、提升存儲性能、降低設備成本是當前存儲技術的難題。

為了提升儲性能、降低成本、簡化管理，目前比較普遍的方式是采用分級存儲技術。采用高性能的固態驅動器(Solid State Disk或Solid State Drive，SSD)和低性能大容量的機械盤組成混合存儲池的技術，通過數據的冷熱識別技術和遷移技術把熱數據和冷數據分別存放在SSD和機械盤中，這是一種平衡成本和性能解決方案。但是，運用分級存儲技術時，會在不同的存儲介質中分別執行數據重刪操作，重刪效果差，導致可能在不同的存儲介質中同時存儲相同的數據塊，造成存儲空間的浪費。

發明內容

本申請實施例提供一種數據存儲方法及裝置，采用本申請實施例的方案能夠通過在存儲陣列中，生成全局指紋表用于對數據進行重刪，提升數據重刪效果和存儲效率。

第一方面，本申請實施例提供一種數據存儲方法，運用于存儲陣列，所述存儲陣列包括高速存儲介質和低速存儲介質，所述方法包括：

接收數據寫入請求，所述數據寫入請求中攜帶待寫數據，所述待寫數據包括至少一個數據塊；

計算每個數據塊的指紋，所述指紋用于唯一標識每個數據塊；

確定所述每個數據塊的指紋是否存在指紋表中，所述指紋表中包括存儲在所述高速存儲介質中的數據塊對應指紋及存儲在所述低速存儲介質中的數據塊對應的指紋；

對所述待寫數據執行重刪操作，所述重刪操作為：將指紋存在于所述指紋表中的數據塊指向所述指紋表中的指紋對應數據塊的存儲地址，并從所述待寫數據中刪除其指紋存在于所述指紋表中的數據塊；

將經過重刪操作的所述待寫數據存儲至所述高速存儲介質或者低速存儲介質。

在本申請實施例中，通過生成全局指紋表，使得存儲在高速存儲介質和低速存儲介質中的數據塊共用同一個指紋表進行重復數據刪除操作，避免了同樣的數據塊在不同的存儲介質中重復生成指紋，且在不同的存儲介質中進行重復存儲，提升了存儲效率，節省了存儲空間。

在一種可行的實施例中，所述方法還包括：

將所述待寫數據中不存在于所述指紋表中的數據塊的指紋添加至所述指紋表；

當經過重刪操作的所述待寫數據存儲至所述高速存儲介質或者低速存儲介質后，將所述待寫數據中其指紋不在所述指紋表中的數據塊的存儲地址添加至所述指紋表。

在一種可行的實施例中，所述方法還包括：

對于指紋存在于所述指紋表中的數據塊，根據對所述數據塊的讀取次數遞增所述數據塊的指紋的熱度計數；