[發(fā)明專利]集中式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210023246.1
• 申請(qǐng)日: 2012-02-02
• 公開(kāi)（公告）號(hào): CN102546817A
• 公開(kāi)（公告）日: 2012-07-04
• 發(fā)明（設(shè)計(jì)）人: 崔勇;廖春鵬;王弘毅
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 賈玉健

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)體系結(jié)構(gòu)技術(shù)領(lǐng)域，特別涉及一種集中式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法。

背景技術(shù)

近年來(lái)，作為企業(yè)的業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行集中、集成、共享、分析的場(chǎng)地、工具、流程等的有機(jī)組合的數(shù)據(jù)中心，隨著云存儲(chǔ)、云計(jì)算以及搜索引擎等新技術(shù)的興起而迅速發(fā)展。由于數(shù)據(jù)中心強(qiáng)大的計(jì)算能力和可靠性等特征，越來(lái)越多的企業(yè)將自己的網(wǎng)絡(luò)服務(wù)轉(zhuǎn)移到數(shù)據(jù)中心。同時(shí)，隨著個(gè)人應(yīng)用需求的增加，數(shù)據(jù)中心也為個(gè)人提供各種計(jì)算和存儲(chǔ)等網(wǎng)絡(luò)服務(wù)。一方面為了滿足日益增長(zhǎng)的服務(wù)需求，數(shù)據(jù)中心的規(guī)模變得越來(lái)越大；另一方面，隨著數(shù)據(jù)中心服務(wù)器間傳輸?shù)臄?shù)據(jù)量的迅速增加，數(shù)據(jù)中心中的帶寬變得越來(lái)越稀缺。

傳統(tǒng)的數(shù)據(jù)中心體系結(jié)構(gòu)存在不足之處。其中一個(gè)問(wèn)題就是傳統(tǒng)的數(shù)據(jù)中心不能有效利用數(shù)據(jù)中心網(wǎng)絡(luò)帶寬。其中某些鏈路的擁塞造成整個(gè)網(wǎng)絡(luò)帶寬不能充分被利用，傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)沒(méi)有從傳輸數(shù)據(jù)的相關(guān)性出發(fā)，在傳輸數(shù)據(jù)時(shí)對(duì)數(shù)據(jù)不加區(qū)分的進(jìn)行發(fā)送，其中傳輸?shù)暮芏鄶?shù)據(jù)都是冗余的。數(shù)據(jù)中心網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)的冗余性主要是由于：數(shù)據(jù)中心網(wǎng)絡(luò)提供的網(wǎng)絡(luò)應(yīng)用的數(shù)據(jù)中，一些數(shù)據(jù)比另外一些數(shù)據(jù)更受歡迎，這種差別使得很多數(shù)據(jù)中心傳輸?shù)臄?shù)據(jù)是重復(fù)出現(xiàn)的，這些重復(fù)傳輸?shù)臄?shù)據(jù)造成了很大的數(shù)據(jù)冗余；數(shù)據(jù)中心使用的軟件架構(gòu)自身帶來(lái)很多冗余，目前比較流行的MapReduce軟件架構(gòu)在數(shù)據(jù)中心網(wǎng)絡(luò)中廣泛使用，MapReduce軟件架構(gòu)為了提高并行性計(jì)算功能，網(wǎng)絡(luò)數(shù)據(jù)以廣播的方式給多個(gè)節(jié)點(diǎn)傳輸，這就造成在數(shù)據(jù)中心網(wǎng)絡(luò)中相同的數(shù)據(jù)的多次發(fā)送，從而帶來(lái)了數(shù)據(jù)中心網(wǎng)絡(luò)傳輸數(shù)據(jù)的冗余性；數(shù)據(jù)中心網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)的協(xié)議帶來(lái)數(shù)據(jù)冗余，數(shù)據(jù)中心中傳輸?shù)臄?shù)據(jù)使用的協(xié)議與其他網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)的協(xié)議是一致的，而這些協(xié)議傳輸?shù)臄?shù)據(jù)已經(jīng)被證明具有很大的冗余性。綜上所述，在數(shù)據(jù)中心傳輸?shù)臄?shù)據(jù)具有很大的冗余，在數(shù)據(jù)中心進(jìn)行冗余消除具有很強(qiáng)的現(xiàn)實(shí)意義。

目前，針對(duì)網(wǎng)絡(luò)中冗余數(shù)據(jù)的消除機(jī)制研究已經(jīng)廣泛開(kāi)展，在較早的研究中，消除網(wǎng)絡(luò)冗余數(shù)據(jù)通過(guò)網(wǎng)絡(luò)緩存、代理服務(wù)器的方式，將在網(wǎng)絡(luò)中已經(jīng)傳輸?shù)臄?shù)據(jù)(這個(gè)文件)在離目的節(jié)點(diǎn)較近的設(shè)備上緩存下來(lái)，在相同的數(shù)據(jù)請(qǐng)求達(dá)到的時(shí)候，代理服務(wù)器將緩存的數(shù)據(jù)發(fā)送到請(qǐng)求服務(wù)器，從而達(dá)到降低網(wǎng)絡(luò)流量的目的；Spring等人在2000年提出了協(xié)議無(wú)關(guān)冗余消除機(jī)制(protocol-independent?RE)，通過(guò)這種方法，在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)間的冗余在更小的粒度(數(shù)據(jù)包層面或者數(shù)據(jù)塊層面)被發(fā)現(xiàn)和消除，從而達(dá)到更好的冗余消除的效果；此后，更多的冗余消除機(jī)制被提出來(lái)，A.Muthitacharoen和S.Annapureddy等人研究了給予內(nèi)容的命名機(jī)制；Anand等人提出了將冗余消除作為IP層的一種服務(wù)的冗余消除機(jī)制和協(xié)調(diào)緩存的冗余消除機(jī)制SmartRE；B.Aggarwall等人提出了端系統(tǒng)(End-system)冗余消除機(jī)制。但是在數(shù)據(jù)中心進(jìn)行數(shù)據(jù)冗余消除研究還處于初步階段，結(jié)合數(shù)據(jù)中心的特點(diǎn)進(jìn)行冗余消除的機(jī)制研究還有待深入。

在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的冗余消除機(jī)制應(yīng)用到數(shù)據(jù)中心網(wǎng)絡(luò)中至少存在以下不足：

1)現(xiàn)有的冗余消除技術(shù)沒(méi)有考慮不同節(jié)點(diǎn)發(fā)送的數(shù)據(jù)之間的冗余性。在數(shù)據(jù)中心網(wǎng)絡(luò)中，由于很多服務(wù)器提供的服務(wù)是相似的，因此不同的節(jié)點(diǎn)發(fā)送的數(shù)據(jù)之間存在大量的冗余。現(xiàn)有的冗余消除機(jī)制只考慮相同的服務(wù)器發(fā)送的數(shù)據(jù)之間的冗余性，不同的服務(wù)器發(fā)送的數(shù)據(jù)間的冗余不能被發(fā)現(xiàn)和消除。

2)現(xiàn)有的冗余消除機(jī)制沒(méi)有充分考慮不同中間節(jié)點(diǎn)(路由器或交換機(jī))緩存不同數(shù)據(jù)的效用的差別。不同的中間節(jié)點(diǎn)緩存不同的數(shù)據(jù)的效用是不同的，換句話說(shuō)就是每個(gè)數(shù)據(jù)都有緩存它的最佳中間節(jié)點(diǎn)。現(xiàn)有的冗余消除機(jī)制要么沒(méi)有考慮中間節(jié)點(diǎn)的緩存能力，從而每個(gè)節(jié)點(diǎn)都可以無(wú)限地緩存所有經(jīng)過(guò)它的數(shù)據(jù)，要么采用簡(jiǎn)單的隨機(jī)緩存和先進(jìn)先出的緩存替換策略，這些方法都不能有效利用中間節(jié)點(diǎn)的緩存。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種集中式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，通過(guò)在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)的中間節(jié)點(diǎn)(路由器或交換機(jī))中增加緩存和在數(shù)據(jù)中心實(shí)現(xiàn)集中管理機(jī)制來(lái)實(shí)現(xiàn)，充分利用數(shù)據(jù)中心網(wǎng)絡(luò)特點(diǎn)，有效降低鏈路負(fù)載。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

集中式數(shù)據(jù)中心數(shù)據(jù)冗余消除方法，源服務(wù)器將數(shù)據(jù)通過(guò)中間節(jié)點(diǎn)發(fā)送至目標(biāo)服務(wù)器，在所述中間節(jié)點(diǎn)增加緩存，傳輸數(shù)據(jù)時(shí)中間節(jié)點(diǎn)緩存已經(jīng)傳輸?shù)臄?shù)據(jù)，從而在相同數(shù)據(jù)再次發(fā)送的時(shí)候可以先進(jìn)行壓縮編碼，然后發(fā)送，在中間節(jié)點(diǎn)進(jìn)行解碼轉(zhuǎn)發(fā)，完成數(shù)據(jù)傳輸，