[發明專利]一種數據冗余消除方法及裝置

有效

• 申請號: 202010132874.8
• 申請日: 2020-02-29
• 公開（公告）號: CN111478938B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 張洪碩
• 申請（專利權）人: 新華三信息安全技術有限公司
• 主分類號: H04L67/5651
• 分類號: H04L67/5651;H04L67/568;H04L69/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種數據冗余消除方法及裝置，用于避免DRE本身加劇資源緊張，提高數據字典利用率。本發明在計算和存儲資源及傳輸鏈路帶寬資源在預設閾值內時，基于待傳輸數據生成數據字典，并主動進行數據字典和非重復數據塊的同步，在實際進行待傳輸數據的傳輸時，當判定據塊索引存在于數據字典中，將該數據塊替換為數據塊索引發送給對端。本發明能夠在避免原有數據冗余消除DRE及DRE的被動數據緩存所帶來的弊端，將設備的閑時帶寬也加以利用進行主動的數據緩存計算和數據字典的生成，從而減輕流量較大時，數據冗余消除功能本身占用數據緩存和占用網絡帶寬給設備及網絡傳輸造成壓力，同時還可提高數據字典的利用率。

技術領域

本發明涉及通信領域，尤其涉及一種數據冗余消除方法及裝置。

背景技術

廣域網應用服務(Wide Area Application Services，WAAS)是能夠對廣域網鏈路流量提供優化的一種廣域網技術。WAAS設備可以通過配置優化動作，改善廣域網鏈路高延遲、低帶寬的缺點。相互通信的WAAS設備在TCP連接三次握手過程中，通過TCP選項協商兩端優化動作。WAAS優化動作包括：傳輸層流優化(Transport Flow Optimization，TFO)、數據冗余消除(Data Redundancy Elimination，DRE)和LZ壓縮(Lempel-Ziv Compression，LZC)。

DRE技術用于消除網絡傳輸中的冗余數據，該技術的基本原理是：在相互通信的WAAS設備上保存重復數據塊與字典索引對應的數據字典。數據發送前首先查找字典，如果查找到該數據塊的字典表項，則認為之前發送過該數據塊，稱為重復數據塊。發送端將重復數據塊替換為字典索引在廣域網鏈路上傳輸。接收端通過識別字典索引，將其還原成重復數據塊，以減少廣域網鏈路傳輸的數據量，提高數據傳輸速度。用字典索引替換重復數據塊的過程稱為DRE壓縮。用重復數據塊替換字典索引的過程稱為DRE解壓縮。

現有DRE所采用的緩存技術屬于流量驅動的被動數據緩存(Passive Data Cache，PDC)技術，此技術的缺點之一是：不能有效利用設備的閑時帶寬，與之相對應的，當設備帶寬緊張時，設備還需要同時緩存所需要的計算與存儲等任務，增加了設備的運行壓力。缺點之二是：數據字典的來源單一，僅僅將之前發送過的數據作為生成數據緩存的依據，在數據重復率較高的場景下壓縮效果明顯，否則數據字典的利用率低。

發明內容

本發明提供一種數據冗余消除方法及裝置，用于避免DRE本身在資源緊張情況下加劇占用率，提高數據字典的利用率。

基于本發明實施，提供一種數據冗余消除方法，所述方法包括：

獲取待傳輸數據信息；

在本端的計算和存儲資源在預設閾值內時，基于待傳輸數據生成用于消除待傳輸數據冗余的數據字典，所述數據字典包含非重復數據塊的數據塊索引；

在傳輸鏈路帶寬資源在預設閾值內時，主動進行所述數據字典和非重復數據塊的同步；

在實際進行待傳輸數據的傳輸時，首先判斷當前數據塊的數據塊索引是否存在于數據字典中，若存在則將該數據塊替換為數據塊索引發送給對端。

進一步地，所述方法中，通過實時監測模式或自定義模式監測本端的計算和存儲資源、傳輸鏈路帶寬資源是否在預設閾值內。

進一步地，所述方法中，獲取待傳輸數據信息的方式為通過預置的預設置接口，由用戶預先設定待傳輸數據的信息，或由業務應用系統自動調用內部接口獲取待傳輸數據信息。

進一步地，所述方法中，基于待傳輸數據生成用于消除待傳輸數據冗余的數據字典的方法為：將待傳輸數據分割為固定大小的數據塊，建立數據塊索引，并以數據塊為單位進行重復性檢測，對于非重復數據塊，將該數據塊索引添加到數據字典中，并生成該數據塊的數據摘要。