[發明專利]一種壓縮字典同步的方法和裝置

無效

• 申請號: 201010127111.0
• 申請日: 2010-03-15
• 公開（公告）號: CN102194499A
• 公開（公告）日: 2011-09-21
• 發明（設計）人: 黃志鋼;李春強;李峰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G11B20/10
• 分類號: G11B20/10
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞

技術領域

本發明涉及數據壓縮技術，尤其涉及一種壓縮字典同步的方法和裝置。

背景技術

數據壓縮技術的應用比較廣泛，可以對文字、圖像、音頻、視頻等各種文件格式進行壓縮。壓縮處理不僅可以在個人電腦、服務器、各種專用設備上進行，也可以在網絡設備(如路由器、交換機)上處理，最典型的應用場景就是企業的各個網絡設備之間的數據傳輸。在數據傳輸過程中，由于存在大量的數據冗余，發送端的網絡設備先對數據進行壓縮，到接收端的網絡設備上進行解壓縮，可以有效的減少網絡上的數據傳輸量，充分利用網絡帶寬并減少傳輸時延。

網絡設備上常用的數據壓縮技術有兩大類，一種是LZ(Lempel-Ziv)壓縮技術，另一種是冗余數據消除技術。LZ壓縮技術一般采用LZ壓縮算法或者LZ壓縮算法的擴展算法，通常是在數據塊內部通過滑動窗口進行最長匹配，生成壓縮字典并進行壓縮，接收端根據算法自動生成相應的壓縮字典并進行解壓縮，通常壓縮率只有40％左右。冗余數據消除技術的原理則是利用數據傳輸過程中的大數據塊的重復性，由網絡設備保存經過的大數據塊，并在字典中記錄相應的內容，以后發現重復的數據塊就使用字典中的索引進行替換。壓縮比一般能達到50∶1以上，但是字典條目需要同步。

冗余數據消除技術中，發送端和接收端的字典中都有相同的若干個條目，發送端的網絡設備在傳輸數據時，設備對傳輸的數據進行分段，并根據字典條目把分段后的數據用字典中的索引進行替換，然后發送出去。接收端的網絡設備再根據字典條目進行解壓縮，還原成原始的數據流并發送到目的地。上述的數據壓縮和解壓縮過程都需要使用壓縮字典，字典條目通常是由發送端網絡設備生成，并且同步到接收端的設備。如果接收端沒有相應的字典條目，就無法進行解壓縮處理，無法還原出原始數據。字典同步可以通過設備間預定義的協議交互來完成，當接收端因為找不到字典條目而無法解壓縮時，可以向發送端網絡設備發送請求，要求發送端網絡設備重新進行字典條目的同步過程，這種情況稱為被動同步，主要用于異常情況(如字典同步失敗、某一端的字典條目被替換等)，因為這種方式會導致當前傳輸的數據時延增加，只能等字典條目同步之后才能解壓縮。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：當上述的數據壓縮只在兩個網絡設備間進行時，字典的同步過程只需要在這兩個設備間進行，相對比較簡單。但是當企業的網絡設備比較多的時候，字典同步就需要在多個網絡設備間進行，復雜度大大提高。現有一種技術方案是在一個網絡設備上為其他網絡設備分別維護一個單獨的壓縮字典，但其最大的問題就是存儲空間的浪費，企業內部各網絡設備之間的數據有很大的冗余性。還有一種現有技術方案的字典同步方法，該方法使用統一字典模式，并采用全局網絡設備的字典同步機制，但這種方法其實屬于盲目同步，因為設備無法預知后續是否使用該同步的字典條目，在沒有相似的數據傳輸時這些字典條目沒有任何用處，最終會超時老化或者由于空間限制被其他條目替換掉，且字典條目中包括索引、生存期、對應的數據段等內容，這種全部網絡設備間的同步也會占用設備上的大量的內存和磁盤空間，網絡設備比較多時會嚴重的加大了網絡上的數據流量。綜上可見，現有技術仍然無法避免設備間減少字典條目同步，以降低數據冗余。

發明內容

本發明實施例提供一種壓縮字典同步的方法和裝置，通過減少設備間進行字典條目同步，以降低數據冗余。

一方面，本發明實施例提供了一種壓縮字典同步的方法，所述方法包括：獲取壓縮字典中待發送數據對應的字典條目的同步信息字段；根據上述同步信息字段判斷接收端網絡設備是否具有上述字典條目；若上述接收端網絡設備不具有上述字典條目，則與上述接收端網絡設備進行上述字典條目的同步，以使上述接收端網絡設備接收到根據上述字典條目進行冗余數據消除壓縮的上述待發送數據后，能夠根據上述字典條目對經過壓縮的上述待發送數據進行解壓縮。

另一方面，本發明實施例提供了一種壓縮字典同步的裝置，所述裝置包括：獲取單元，用于獲取壓縮字典中待發送數據對應的字典條目的同步信息字段；判斷單元，用于根據上述同步信息字段判斷接收端網絡設備是否具有上述字典條目；同步單元，用于若上述接收端網絡設備不具有上述字典條目，則與上述接收端網絡設備進行上述字典條目的同步，以使上述接收端網絡設備接收到根據上述字典條目進行冗余數據消除壓縮的上述待發送數據后，能夠根據上述字典條目對經過壓縮的上述待發送數據進行解壓縮。