[發(fā)明專利]用于資源受限主機(jī)的選擇性數(shù)據(jù)冗余消除的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201380015285.X
• 申請(qǐng)日: 2013-04-04
• 公開（公告）號(hào): CN104350488A
• 公開（公告）日: 2015-02-11
• 發(fā)明（設(shè)計(jì)）人: 張艷;尼曼·安薩里;吳明權(quán);虹·希瑟·郁
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F17/00
• 分類號(hào): G06F17/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于數(shù)據(jù)冗余消除的系統(tǒng)和方法，以及在具體實(shí)施例中，涉及一種用于資源受限主機(jī)的選擇性數(shù)據(jù)冗余消除的系統(tǒng)和方法。

背景技術(shù)

當(dāng)前信息技術(shù)(IT)組織往往在廣域網(wǎng)(WAN)地理上部署其基礎(chǔ)設(shè)施來提高生產(chǎn)效率，支持全球協(xié)作以及最大限度地降低成本，從而構(gòu)成了當(dāng)前以WAN為中心的環(huán)境。與局域網(wǎng)(LAN)相比，WAN通常是一種覆蓋了廣闊區(qū)域的電信網(wǎng)絡(luò)；WAN可跨越都市、地區(qū)和/或國家邊界連接。傳統(tǒng)的以LAN為導(dǎo)向的基礎(chǔ)設(shè)施不足以支持高應(yīng)用性能、低成本的全球協(xié)作。由于WAN的高時(shí)延和高丟包率等內(nèi)在本質(zhì)，在WAN上部署應(yīng)用通常會(huì)導(dǎo)致性能下降。LAN中不常遇到的很多因素可以迅速導(dǎo)致跨WAN運(yùn)行的應(yīng)用性能下降。

提升WAN速度的需求刺激了WAN上的應(yīng)用性能的改善。WAN優(yōu)化，通常也被稱為WAN加速，大體描述了WAN上的應(yīng)用性能的提升。WAN加速旨在提供對(duì)遠(yuǎn)程數(shù)據(jù)(例如文件和視頻)的高性能訪問。已提出了多種WAN加速技術(shù)。一些技術(shù)著重于最大限度地提高帶寬利用率，其他技術(shù)著重于解決延遲問題，還有一些技術(shù)著重于解決協(xié)議的低效率問題，該低效率問題阻礙了跨WAN的數(shù)據(jù)包的有效傳遞。數(shù)據(jù)壓縮降低了在WAN傳輸期間鏈路上消耗的帶寬量，也可以通過減少傳輸?shù)臄?shù)據(jù)量來減少特定數(shù)據(jù)遍歷WAN的傳輸時(shí)間。數(shù)據(jù)冗余消除(DRE)，也稱為數(shù)據(jù)去重，是一種數(shù)據(jù)精簡技術(shù)，是數(shù)據(jù)壓縮的衍生。數(shù)據(jù)壓縮通過消除對(duì)象內(nèi)包含的冗余數(shù)據(jù)來縮減文件大小，而DRE可以識(shí)別和消除對(duì)象間和對(duì)象內(nèi)復(fù)制的數(shù)據(jù)元素(例如整個(gè)文件和數(shù)據(jù)塊)來減少待傳輸或存儲(chǔ)的數(shù)據(jù)量。當(dāng)檢測(cè)到相同數(shù)據(jù)元素的多個(gè)實(shí)例時(shí)，僅傳輸或存儲(chǔ)該數(shù)據(jù)元素一個(gè)副本。冗余數(shù)據(jù)元素替換為唯一數(shù)據(jù)副本的引用或指針。

基于算法粒度，DRE算法可以分為三類：整個(gè)文件散列(whole?file?hashing)、子文件散列(sub-file?hashing)和增量編碼(delta?encoding)。傳統(tǒng)DRE，例如網(wǎng)絡(luò)緩存在應(yīng)用層操作來消除冗余數(shù)據(jù)傳輸。隨著互聯(lián)網(wǎng)中網(wǎng)絡(luò)流量的快速增長，已基于不同的分塊和取樣方法部署了對(duì)單個(gè)數(shù)據(jù)包進(jìn)行操作的DRE技術(shù)。包級(jí)冗余消除識(shí)別并消除了所有數(shù)據(jù)包的冗余數(shù)據(jù)塊。如果在服務(wù)提供商的接入鏈路或路由器之間部署包級(jí)冗余消除技術(shù)，可以平均節(jié)省15％至60％的帶寬。

發(fā)明內(nèi)容

根據(jù)實(shí)施例，一種用于選擇性數(shù)據(jù)冗余消除的方法包括在傳輸點(diǎn)處接收包含內(nèi)容的傳入數(shù)據(jù)包，其中所述內(nèi)容包括內(nèi)容類型；當(dāng)所述內(nèi)容類型匹配選擇性冗余消除類型時(shí)，使用所述傳輸點(diǎn)將冗余數(shù)據(jù)元素從所述數(shù)據(jù)包中消除；以及當(dāng)所述內(nèi)容類型匹配繞過-消除類型時(shí)，使用所述傳輸點(diǎn)繞過選擇性冗余消除。

根據(jù)另一實(shí)施例，一種用于選擇性數(shù)據(jù)冗余消除的網(wǎng)絡(luò)部件包括處理器以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)由所述處理器執(zhí)行的程序，所述程序包括如下指令：接收包含內(nèi)容的傳入數(shù)據(jù)包，其中所述內(nèi)容包括內(nèi)容類型；當(dāng)所述內(nèi)容類型匹配選擇性冗余消除類型時(shí)，將冗余數(shù)據(jù)元素從所述數(shù)據(jù)包中消除；以及當(dāng)所述內(nèi)容類型匹配繞過-消除類型時(shí)，繞過選擇性冗余消除。

根據(jù)另一實(shí)施例，一種用于選擇性數(shù)據(jù)冗余消除(SDRE)的系統(tǒng)包括SDRE管理器，用于維護(hù)端到端SDRE列表；包分類器，用于對(duì)內(nèi)容類型的傳入數(shù)據(jù)包進(jìn)行分類；包緩存管理器，用于在包緩存中存儲(chǔ)數(shù)據(jù)包；以及端到端SDRE模塊，用于將冗余元素從數(shù)據(jù)包中消除，所述數(shù)據(jù)包的內(nèi)容類型與用于執(zhí)行數(shù)據(jù)冗余消除(DRE)過程的類型相匹配，其中內(nèi)容類型與用于進(jìn)行SDRE的類型不匹配的數(shù)據(jù)包在不執(zhí)行所述DRE過程的情況下被轉(zhuǎn)發(fā)到末端節(jié)點(diǎn)。

附圖說明

為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在參考以下結(jié)合附圖進(jìn)行的描述，其中：

圖1示出了用于傳輸數(shù)據(jù)的網(wǎng)絡(luò)；

圖2示出了SDRE管理器的實(shí)施例；

圖3示出了選擇性數(shù)據(jù)冗余消除方法300；

圖4為示出了對(duì)于不同智能手機(jī)流量跟蹤和不同大小的數(shù)據(jù)包存儲(chǔ)緩存(從100MB到1MB)SDRE相對(duì)DRE的帶寬節(jié)約率的圖400；以及

圖5是可用于實(shí)施各種實(shí)施例的處理系統(tǒng)。

具體實(shí)施方式

下文將詳細(xì)論述當(dāng)前優(yōu)選實(shí)施例的制作和使用。然而，應(yīng)了解，本發(fā)明提供可在各種具體上下文中體現(xiàn)的許多適用的發(fā)明性概念。所論述的具體實(shí)施例僅僅說明用以實(shí)施和使用本發(fā)明的具體方式，而不限制本發(fā)明的范圍。