[發(fā)明專利]網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210572738.6
• 申請(qǐng)日: 2012-12-25
• 公開（公告）號(hào): CN103023796A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 劉進(jìn);須成忠;邱健聰;陳凱;閆茜;彭賢斌;向潔
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): H04L12/801
• 分類號(hào): H04L12/801;H04L12/835
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 吳平

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，特別是涉及一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)。

背景技術(shù)

隨著網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展，越來越多的高帶寬網(wǎng)絡(luò)為用戶提供高速網(wǎng)絡(luò)服務(wù)，然而，由于網(wǎng)絡(luò)用戶的激增和占用高帶寬的應(yīng)用越來越多，例如，多媒體應(yīng)用等，使得網(wǎng)絡(luò)帶寬資源越來越緊缺，為增加網(wǎng)絡(luò)帶寬而產(chǎn)生的成本也越來越高。

為了避免網(wǎng)絡(luò)帶寬需求而產(chǎn)生的成本無限制地增加，各種減少網(wǎng)絡(luò)流量的技術(shù)被應(yīng)用于網(wǎng)絡(luò)服務(wù)中，其中，最為有效的減少網(wǎng)絡(luò)流量的新技術(shù)為網(wǎng)絡(luò)冗余刪除技術(shù)，網(wǎng)絡(luò)冗余刪除技術(shù)的原理是對(duì)傳輸?shù)臄?shù)據(jù)按一定的規(guī)則進(jìn)行分塊，并計(jì)算數(shù)據(jù)分塊的指紋，雙方網(wǎng)絡(luò)設(shè)備保存首次經(jīng)過的數(shù)據(jù)塊和指紋到雙方的字典中，待發(fā)現(xiàn)重復(fù)的數(shù)據(jù)塊就使用字典中的指紋來來代替重復(fù)數(shù)據(jù)塊的傳輸，當(dāng)數(shù)據(jù)到達(dá)接收端后，接收端根據(jù)指紋信息從接收端的字典中恢復(fù)出相應(yīng)的數(shù)據(jù)塊即可，指紋信息的長度遠(yuǎn)小于數(shù)據(jù)塊的長度，從而減少傳輸?shù)臄?shù)據(jù)量，達(dá)到減少網(wǎng)絡(luò)帶寬消耗目的。但是，網(wǎng)絡(luò)冗余刪除技術(shù)識(shí)別重復(fù)數(shù)據(jù)塊計(jì)算量非常大，需要耗費(fèi)較大的計(jì)算開銷,同時(shí)對(duì)內(nèi)存、存儲(chǔ)空間、IO訪問等方面有較大的處理開銷需求。

發(fā)明內(nèi)容

基于此，有必要提供一種能降低計(jì)算開銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法。

此外，還用必要提供一種能降低計(jì)算開銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)。

一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，包括如下步驟：

通過數(shù)據(jù)發(fā)送端判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息，

若否，則采用網(wǎng)絡(luò)冗余刪除處理來實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息；

通過數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)；

匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)冗余處理來實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟為：

對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到所述網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊；

計(jì)算所述數(shù)據(jù)塊的指紋信息；

判斷所述數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將所述數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸。在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)冗余處理來實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟還包括：

若判斷到數(shù)據(jù)塊的指紋信息不存在于數(shù)據(jù)發(fā)送端的字典中，則將所述數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入數(shù)據(jù)發(fā)送端的字典中，并傳輸所述數(shù)據(jù)塊。

在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息的步驟包括：

判斷所述網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則

提取所述標(biāo)識(shí)信息，并向所述數(shù)據(jù)接收端傳輸所述標(biāo)識(shí)信息。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)的步驟包括：

從數(shù)據(jù)接收端緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與所述接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)信息；

從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將所述提取得到的數(shù)據(jù)塊匯聚恢復(fù)成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。

一種網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，包括數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端，所述數(shù)據(jù)發(fā)送端包括：

類型判斷模塊，用于判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則通知網(wǎng)絡(luò)代理緩存模塊，若否，則通知冗余刪除處理模塊；

所述網(wǎng)絡(luò)代理緩存模塊用于采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息；

所述冗余刪除處理模塊用于采用網(wǎng)絡(luò)冗余處理來實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息；

所述數(shù)據(jù)接收端包括：

數(shù)據(jù)恢復(fù)模塊，用于通過數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)；

匯聚模塊，用于匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，所述冗余刪除處理模塊包括：