[發明專利]分布式存儲裝置、重刪、寫、刪除、讀取方法以及系統

在審

• 申請號: 201710764079.9
• 申請日: 2017-08-30
• 公開（公告）號: CN107506150A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 胡永剛;張子奇;王利朋
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及存儲技術領域，特別涉及一種分布式存儲裝置、分布式存儲重刪、寫、刪除、讀取方法以及系統。

背景技術

分布式存儲系統將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

重復數據刪除(De-duplication，簡稱重刪)技術是一種容量優化技術，它通過消除存儲系統中重復的數據，縮減系統中實際存儲的數據或通過網絡傳輸的數據，在備份、長期歸檔和數據災難恢復等方面得到了廣泛的應用。在工業界和學術界已經有相應的產品和技術研究成果。近年來，隨著軟件定義存儲的發展，及虛擬化技術、專用處理器技術和新型存儲介質的出現，結合在線重復數據處理和降低存儲單位容量成本的考慮，重復數據刪除技術需求越來越迫切。

目前分布式存儲在線重復數據刪除技術的研究主要采用創建指紋庫，利用指紋庫來判斷數據是否重復的方法，不管指紋庫的存儲方式如何實現，都需要在分布式存儲網絡內進行匹配查詢，效率低。

發明內容

有鑒于此，本發明的目的在于提供一種分布式存儲裝置、分布式存儲重刪、寫、刪除、讀取方法以及系統，以避免了利用指紋庫在分布式存儲網絡內進行匹配查詢，而造成的低效率，提高了分布式存儲重刪工作效率。其具體方案如下：

一種分布式存儲重刪方法，應用于分布式存儲裝置，包括：

在統一存儲層獲取目標數據對象的目標對象數據指紋，并將所述目標對象數據指紋存儲到相應的OSD；

利用預設算法對所述目標對象數據指紋進行計算，得到所述目標數據對象的目標OSD；

判斷所述目標數OSD是否已保存歷史數據對象；

如果已保存所述歷史數據對象，則將所述歷史數據對象的引用計數的計數加一。

可選的，所述在統一存儲層獲取目標數據對象的目標對象數據指紋的過程，包括：

在統一存儲層，利用所述目標數據對象的目標數據對象唯一標識，通過哈希函數，獲取所述目標對象數據指紋。

本發明還公開了一種分布式存儲寫入方法，，應用于分布式存儲裝置，包括：

利用目標數據對象的目標數據對象唯一標識，查詢目標對象數據指紋是否存在；

如果存在，則利用所述目標數據對象計算出新目標對象數據指紋，并將所述新目標對象數據指紋存入相應的OSD；

再利用所述新目標對象數據指紋，將所述目標數據對象存入相應的目標OSD；

將與所述目標對象數據指紋相應的數據對象的引用計數減一。

可選的，所述利用所述目標數據對象計算出新目標對象數據指紋，并將所述新目標對象數據指紋存入相應的OSD的過程，包括：

判斷所述目標數據對象的數據塊長度是否等于預設的分塊大小；

如果等于，則利用所述預設算法計算出所述目標數據對象的第一新目標對象數據指紋，將所述第一新目標對象數據指紋存入相應的OSD；

如果所述目標數據對象的數據塊長度小于所述分塊大小，則利用所述目標數據對象唯一標識，得到所述目標對象數據指紋，利用所述目標對象數據指紋獲取所述舊目標數據對象；

將所述舊目標數據對象與所述目標數據對象進行拼接，得到拼接數據對象，利用所述預設算法計算出所述拼接數據對象的第二新目標對象數據指紋；

將所述第二新目標對象數據指紋存入相應的OSD。

可選的，所述將與所述目標對象數據指紋相應的數據對象的引用計數減一的過程，包括：

當所述目標數據對象的數據塊長度小于預設的分塊大小，則利用所述目標對象數據指紋，查找到與所述目標對象數據指紋相對應的舊引用計數，并將所述舊引用計數的計數減一；

如果所述舊引用計數的計數為零，則刪除所述舊目標數據對象。

本發明還公開了一種分布式存儲刪除方法，應用于分布式存儲裝置，包括：

利用歷史數據對象的歷史對象唯一標識，查找到所述歷史數據對象的歷史對象數據指紋；

利用所述歷史對象數據指紋，查找到所述歷史數據對象的引用計數，并將所述歷史數據對象的引用計數減一；

如果所述歷史數據對象的引用計數減一后為零，則刪除所述歷史數據對象和與其相關的數據。