[發明專利]數據系統中的接收器側數據重復刪除

有效

• 申請號: 201710258505.1
• 申請日: 2011-12-21
• 公開（公告）號: CN107092677B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: J·C·索倫森三世
• 申請（專利權）人: 亞馬遜科技公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/215;G06F16/23;G06F3/06
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 邊海梅

本申請涉及數據系統中的接收器側數據重復刪除。更具體而言，提供用于在接收器處接收來自發送器的上載數據的方法和裝置。描述了可減少在從發送器向接收器上載數據時使用的帶寬的數據重復刪除技術。在該技術中，接收器而不是發送器維持用于先前上載的數據的指紋字典。當發送器具有要被上載的附加的數據時，發送器提取用于數據單位的指紋并將指紋發送給接收器。接收器檢查其指紋字典，以確定要被上載的數據單位并且向發送器通知標識的單位，該發送器然后將標識的數據單位發送給接收器。該技術可例如被應用于虛擬化數據存儲系統，以減少在上載數據時使用的帶寬。

本申請是申請日為2011年12月21日、發明名稱為“數據系統中的接收器側數據重復刪除”的中國專利申請201180063651.X的分案申請。

技術領域

本公開涉及數據系統中的接收器側數據重復刪除。

背景技術

在許多數據系統中，廣義上說，發送器(數據源)通過通信信道將數據上載到接收器(數據處理器)。這種系統的例子是數據存儲系統；但是，這些數據系統可包含接收器以某種方式處理從發送器上載的數據的任何系統。上載和處理的數據可包含但不限于任何類型的文本、圖形或圖像數據、音頻數據(例如，音樂和聲音數據)、視頻數據和壓縮和/或加密數據等。在許多這種系統中，可能需要通過通信信道從發送器向接收器上載大量的數據。但是，通信信道一般具有寬帶限制，而這種數據系統的目標是，得到跨通信信道到接收器的盡可能多的可用數據。

數據重復刪除指的是用于減少或消除這種系統中的冗余數據，以例如提高數據存儲系統中的存儲利用并且/或者減少通信信道上的帶寬使用的技術。作為例子，在應用于數據存儲系統的至少一些數據重復刪除技術中，可以防止復制數據存儲到數據存儲。為了實現這一點，已駐留于數據存儲中的數據的單位和/或沒有駐留于數據存儲中的數據的單位可被標識，并且，只有沒有駐留于數據存儲中的單位在數據存儲中被存儲或者被更新。本申請中的數據重復刪除可由此減少需要的存儲容量，原因是數據的特定的單位的更少或者僅僅一個副本被保持。

一種用于數據系統中的數據重復刪除的技術是使發送器在接收器處上載要被處理(例如，存儲于數據存儲系統中)的所有數據，并且使接收器標識要被處理的數據的單位。但是，該技術不減少發送器與接收器之間的帶寬使用。

可減少帶寬使用的數據重復刪除的常規技術是使發送器標識要被上載到接收器的數據的單位；只有標識的數據的單位從發送器被上載到接收器。圖1示出發送器(數據源)標識數據的單位并將其上載到接收器(例如，數據存儲系統)的常規的重復刪除技術。在該常規的重復刪除技術中，發送器20維持數據22和本地存儲的指紋24。本地存儲的指紋24可唯一地標識已被上載到數據存儲12的數據22的單位。指紋24可例如是數據22的單位的散列。在基于塊的數據系統(例如，塊存儲系統)中，數據的單位可以例如為數據塊的256k字節部分、數據塊的1024k字節部分或數據塊的一些其它的固定或可變尺寸部分。在基于文件的系統中，數據的單位可以是文件或文件的與基于塊的數據系統中的部分類似的部分。當發送器20具有要被上載到接收器10的數據22時，發送器20處的數據上載管理器26可提取要被上載的數據22的單位的指紋，并將提取的指紋與本地存儲指紋24相比較，以標識沒有被上載到接收器10(或者以前被上載但已在本地被修改)的數據的一個或更多個單位。數據上載管理器26然后可將標識的數據單位上載到接收器10，該接收器10例如通過將數據單位存儲到數據存儲而處理12數據單位。

雖然該技術可減少在從發送器20向接收器10上載數據時使用的帶寬，但是，該技術要求發送器20維持指紋24的字典。在許多這種系統中，在本地維持于發送器20處的數據22的本地存儲或高速緩存可包含數以千兆字節或兆兆字節計數的數據。因此，可由發送器20維持的指紋24的字典會相當大。另外，在一些系統中，接收器10可為多個發送器20服務，并且，在這些系統中，難以在全局上應用重復刪除(例如，以對于兩個或更多個數據源跨由接收器10存儲的數據一致地應用重復刪除)。

發明內容