[發(fā)明專利]通過流緩存實現(xiàn)網間數(shù)據(jù)傳輸加速的方法

有效

• 申請?zhí)枺?/td>: 200810065189.7
• 申請日: 2008-01-14
• 公開（公告）號: CN101262493A
• 公開（公告）日: 2008-09-10
• 發(fā)明（設計）人: 趙輝宇
• 申請（專利權）人: 深圳市深信服電子科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 廣州三環(huán)專利代理有限公司
• 代理人: 滿群

技術領域

本發(fā)明為一種網間加速技術，特別涉及一種通過減少冗余數(shù)據(jù)傳輸，提高網間數(shù)據(jù)傳輸速度，通過流緩存實現(xiàn)網間數(shù)據(jù)傳輸加速的方法。

背景技術

目前，由于網絡的無可便利性，越來越多的企業(yè)和個人通過網絡進行協(xié)調辦公和業(yè)務往來。網絡間傳輸?shù)臄?shù)據(jù)量急劇增加，為此需要更高的帶寬以滿足需求。盡管當前申請互聯(lián)網帶寬的費用趨向便宜，但畢竟internet總的帶寬資源有限，如果不采取一定手段，仍無法保證核心應用對WAN帶寬資源的需求。另外，隨著新一代無線通信的發(fā)展，更多的企業(yè)和個人趨向于無線辦公。與有線網絡相比，無線網絡帶寬缺乏尤為明顯，嚴重影響企業(yè)和個人辦公效率。

據(jù)統(tǒng)計，廣域網上傳輸數(shù)據(jù)中，70％左右的數(shù)據(jù)為冗余信息，理論上說，70％左右的數(shù)據(jù)完全沒必要在廣域網傳輸。因此，若采用某壓縮方法，而該方法可減少70％數(shù)據(jù)的網上傳輸，則能大幅提高帶寬利用率，降低網絡運營成本，提高辦事效率。

就目前技術來看，絕大多數(shù)網絡設備采用lzo及其變形流壓縮算法。該算法能有效壓縮居于文本文檔或數(shù)據(jù)庫等信息熵小的數(shù)據(jù)，但其也存在明顯缺陷：由于其只能在較小數(shù)據(jù)區(qū)間內壓縮，故壓縮比率不高。另外，其對已被壓縮的數(shù)據(jù)包蒼白無力(比如rar，jpg圖像等)，因此提高帶寬利用率相當有限。

發(fā)明內容

本發(fā)明的目的在于克服上述現(xiàn)有技術中的不足之處，提供一種通過特征提取方法快速識別網絡輸入數(shù)據(jù)，并依據(jù)數(shù)據(jù)流倉庫將重復的數(shù)據(jù)替換成有效的編碼，在遠端的流cache設備會將編碼翻譯回原來的數(shù)據(jù)，從而減少了在廣域網上傳輸?shù)臄?shù)據(jù)量。由于數(shù)據(jù)流倉庫很大(可通過硬盤保存，幾百兆到幾百千GB不等)，可保存比通常壓縮方法更多的重復模式。因此，可在數(shù)據(jù)流庫中找到絕大多數(shù)的冗余信息，大幅降低網絡數(shù)據(jù)傳輸量，提高帶寬利用率的一種通過流緩存實現(xiàn)網間數(shù)據(jù)傳輸加速的方法。

本發(fā)明的目的可以通過以下措施來達到：

這種通過流緩存實現(xiàn)網間數(shù)據(jù)傳輸加速的方法，其特殊之處在于，它包括壓縮流程和解壓縮流程：

所述壓縮流程，包括以下步驟：

(1)、初始化(步驟101)；

(2)、提取待壓縮的數(shù)據(jù)包特征值(步驟102)；

(3)、判斷數(shù)據(jù)流間的匹配是否完畢(步驟103)；

(4)、若步驟103的判斷結果為否，則進一步判斷剩余未參加計算的特征值大于設定值(步驟104)；

(5)、若步驟103的判斷結果為是，則經“將數(shù)據(jù)包保存至數(shù)據(jù)流倉庫，將數(shù)據(jù)包中各特征值在數(shù)據(jù)流倉庫的位置保存至hash文件桶中”(步驟111)、“在數(shù)據(jù)包前添加未匹配編碼頭，輸出編碼包”(步驟1112)至完畢(步驟113)；

(6)若步驟104的判斷結果為是，則根據(jù)設定值的連續(xù)特征值計算hash桶號A(步驟105)；

(7)若步驟104的判斷結果為否，則經“將數(shù)據(jù)包保存至數(shù)據(jù)流倉庫，將數(shù)據(jù)包中各特征值在數(shù)據(jù)流倉庫的位置保存至hash文件桶中”(步驟111)、“在數(shù)據(jù)包前添加未匹配編碼頭，輸出編碼包”(步驟1112)至完畢(步驟113)；

(8)步驟105獲取hash表桶號A的內容，得到在數(shù)據(jù)流倉庫中的位置B(步驟106)；

(9)從數(shù)據(jù)流倉庫位置B開始讀出若干字節(jié)，并保存至一臨時緩沖區(qū)(步驟103)；

(10)尋找臨時緩沖區(qū)與帶壓縮數(shù)據(jù)包最佳匹配(步驟108)；

(11)判斷是否找到匹配(步驟109)；

(12)若步驟104的判斷結果為否，則返回步驟103；

(13)若步驟104的判斷結果為是，則將編碼包類型設為匹配類型，將匹配結果編碼輸出(步驟110)；

(14)完畢(步驟113)；

所述解壓縮流程，包括以下步驟：

(15)初始化(步驟201)；

(16)判斷編碼類型是否未匹配(步驟202)；

(17)若步驟202的判斷結果為否，則經“根據(jù)匹配位置和長度從數(shù)據(jù)流倉庫中還原數(shù)據(jù)包”至“輸出還原數(shù)據(jù)包完畢”(步驟210)；

(18)若步驟202的判斷結果為是，則去掉編碼頭，還原數(shù)據(jù)包(步驟203)；

(19)將數(shù)據(jù)包保存至數(shù)據(jù)流倉庫(步驟204)；

(20)提取數(shù)據(jù)包特征值(步驟205)；

(21)根據(jù)設定值的連續(xù)特征值計算hash桶號A(步驟206)；

(22)將數(shù)據(jù)包中各特征值在數(shù)據(jù)流倉庫的位置保存至hash文件桶A中(步驟207)；

(23)判斷剩余未參加計算的特征值大于設定值(步驟208)；