[發明專利]編碼器、解碼器和方法

有效

• 申請號: 201580037251.X
• 申請日: 2015-06-26
• 公開（公告）號: CN106489241B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 托馬斯·卡開寧;奧西·卡雷沃
• 申請（專利權）人: 古魯洛吉克微系統公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,王艷春

技術領域

本公開涉及用于對輸入數據(D1)編碼以生成對應編碼數據(E2)的編碼器；本公開還涉及對輸入數據(D1)編碼以生成對應編碼數據(E2)的方法。另外，本公開涉及用于對編碼數據(E2)解碼以生成對應解碼數據(D3)的解碼器；本公開還涉及對編碼數據(E2)解碼以生成對應解碼數據(D3)的方法。另外，本公開涉及包括其上存儲有計算機可讀指令的非暫時性計算機可讀存儲介質的計算機程序產品，計算機可讀指令可通過電腦化設備執行，電腦化設備包括處理硬件以執行上述方法。另外，本公開涉及編解碼器，編解碼器包括至少一個上述編碼器以及至少一個上述解碼器。

背景技術

為本公開提供技術背景的各種已知文獻列在與本公開有關的附錄中。

通常，用來壓縮數據的算法是基于無損耗壓縮方法[3]或有損耗壓縮方法[4]中的一種。在無損耗壓縮中，各種文件(即數據(D1))以數據(D1)可稍后恢復為原樣的方式進行壓縮。

通常，當對數據(D1)編碼時，使用數據刪除復制(data de-duplication)方法是公知的，該方法試圖除去數據(D1)中的數據段(即當數據(D1)例如短暫地流動時反復出現而沒有變化的那些數據段)的副本。已知的數據刪除復制方法能夠有效地尋找與期望數據塊完全類似的這些數據塊。

通常，已知的數據刪除復制方法通過使用各種不同的方法來尋找先前出現的數據段，諸如：

(i)通過相對于參考數據段，檢測給定數據段中的改變的數據元素的數；

(ii)通過計算給定數據段和參考數據段的數據元素之間的絕對差的總和；

(iii)通過利用冗余檢驗表；或者

(iv)通過采用滑動塊方法。

整個文件也可被復制刪除，在這種情況下，用來代替復制文件的符號產生出色的壓縮比[5]。

另外，可以后處理的方式執行數據刪除復制，在這種情況下在數據(D1)已寫入之后追溯地執行對關聯數據的處理。可替代地，可實時執行數據刪除復制，即正在數據(D1)進入給定系統時，在這種情況下給定辨識出的數據塊沒有完全寫入，而是替代地參考之前的、與給定辨識出的數據塊彼此類似的數據塊。

數據刪除復制用于當代信息技術工業的各種分支中，諸如數據存儲器中以及數據傳送網絡中。例如，數據刪除復制用于云服務中、系統備份復制中、以及電子郵件服務中，其中連續地傳送相互類似的文件，或僅僅稍微變化的基本上相互類似的文件。另外，在互聯網通信網絡中，發送對請求的響應，來回傳送數據字節，并且這些字節主要容納部分或全部的相同互聯網協議(IP)包數據；例如數據刪除復制與廣域網(WAN)優化有關。

先前眾所周知的是，與常規的數據壓縮方法相比，已知的數據刪除復制方法更具有成本效率。然而，已知的數據刪除復制方法具有許多缺點。首先，由于數據刪除復制方法試圖實現期望的數據壓縮比，所以經常使用可觀的數據存儲和處理能力。通常，需要增加關聯的搜索區域，即用于尋找類似性的大量存儲器，來提高數據壓縮比。另外，需要使用諸如滑動搜索法的CPU加強方法，來提高數據壓縮比。滑動搜索法試圖通過在搜索區域內移動至由用于實現滑動搜索法所采用的算法指向的方向，以原始方式來識別目標數據塊或數據包。

其次，已知的數據刪除復制方法不能發現這樣數據塊或數據包，即內容稍有變化，但是相對于期望數據塊仍包含許多未變化數據元素的數據塊或數據包。

第三，已知的數據刪除復制方法可能導致數據斷裂，尤其在實時執行與這些數據刪除復制方法有關的處理時。

發明內容

本公開旨在提供采用數據刪除復制技術的改進的編碼器，數據刪除復制技術能夠改進編碼性能。

另外，本公開旨在提供采用復制技術的改進的解碼器，復制技術能夠改進解碼性能。

在第一方面，本公開的實施方式提供了用于對輸入數據(D1)編碼以生成對應編碼數據(E2)的編碼器，其特征在于，編碼器包括數據處理硬件，數據處理硬件能夠操作為：

(a)確定所述輸入數據(D1)內的數據塊或數據包的至少部分重現，其中，所述數據塊或數據包均包括多個字節；

(b)采用至少一個參考符號來關聯所述輸入數據(D1)內的相互類似的數據塊或數據包的重現，和/或指示所述輸入數據(D1)內是否存在相互類似的數據塊或數據包的重現，其中給定參考符號被用作相對指示器，所述相對指示器指示給定數據塊或數據包相對于其對應參考數據塊或數據包的位置，或者給定參考符號被用于指示所述參考數據塊或數據包相對于所述給定數據塊或數據包的位置；