[發(fā)明專利]一種傳輸數(shù)據(jù)的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810973838.7
• 申請日: 2018-08-24
• 公開（公告）號: CN109274720B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: 李欣
• 申請（專利權(quán)）人: 網(wǎng)宿科技股份有限公司
• 主分類號: H04L67/568
• 分類號: H04L67/568;H04L67/1074
• 代理公司: 北京華智則銘知識產(chǎn)權(quán)代理有限公司 11573
• 代理人: 黃雪芝

1.一種傳輸數(shù)據(jù)的方法，其特征在于，所述方法包括：

發(fā)送服務(wù)器對待發(fā)送的目標數(shù)據(jù)按字節(jié)計算哈希值，篩選符合預(yù)設(shè)取值條件的目標哈希值，確定所述目標哈希值對應(yīng)的數(shù)據(jù)內(nèi)容，并基于所述數(shù)據(jù)內(nèi)容確定所述目標數(shù)據(jù)的內(nèi)容切割點；

所述發(fā)送服務(wù)器根據(jù)所述內(nèi)容切割點將所述目標數(shù)據(jù)切分為多個數(shù)據(jù)塊，并基于預(yù)設(shè)規(guī)則確定所述多個數(shù)據(jù)塊中的每個數(shù)據(jù)塊對應(yīng)的字符串；

所述發(fā)送服務(wù)器根據(jù)預(yù)先存儲的數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表，將所述目標數(shù)據(jù)中的目標數(shù)據(jù)塊替換為目標字符串；

所述發(fā)送服務(wù)器向接收服務(wù)器發(fā)送包含所述目標字符串的目標數(shù)據(jù)；

所述接收服務(wù)器根據(jù)預(yù)先存儲的數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表，將所述目標數(shù)據(jù)中的目標字符串還原為目標數(shù)據(jù)塊；

所述發(fā)送/接收服務(wù)器周期性向緩存分析服務(wù)器發(fā)送數(shù)據(jù)替換記錄，所述數(shù)據(jù)替換記錄包含當前周期內(nèi)已發(fā)送/接收數(shù)據(jù)中的字符串及對應(yīng)的數(shù)據(jù)塊大小；

所述緩存分析服務(wù)器根據(jù)每個所述字符串的大小、對應(yīng)的數(shù)據(jù)塊大小和出現(xiàn)次數(shù)，確定所有字符串的緩存比貢獻度；

所述緩存分析服務(wù)器向所述發(fā)送服務(wù)器和所述接收服務(wù)器發(fā)送所述所有字符串的緩存比貢獻度；

所述發(fā)送服務(wù)器和所述接收服務(wù)器根據(jù)所述緩存比貢獻度在所述數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表刪除預(yù)設(shè)數(shù)目個對應(yīng)關(guān)系項。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述發(fā)送服務(wù)器對待發(fā)送的目標數(shù)據(jù)按字節(jié)計算哈希值，篩選符合預(yù)設(shè)取值條件的目標哈希值，確定所述目標哈希值對應(yīng)的數(shù)據(jù)內(nèi)容，并基于所述數(shù)據(jù)內(nèi)容確定所述目標數(shù)據(jù)的內(nèi)容切割點，包括：

發(fā)送服務(wù)器使用Rabin-Karp指紋算法對目標數(shù)據(jù)按字節(jié)計算哈希值；

所述發(fā)送服務(wù)器篩選符合預(yù)設(shè)取值條件的目標哈希值，根據(jù)所述目標哈希值確定對應(yīng)的數(shù)據(jù)內(nèi)容，并基于所述數(shù)據(jù)內(nèi)容確定所述目標數(shù)據(jù)的內(nèi)容切割點；

所述發(fā)送服務(wù)器根據(jù)所述內(nèi)容切割點將所述目標數(shù)據(jù)切分為多個數(shù)據(jù)塊，并基于預(yù)設(shè)規(guī)則確定所述多個數(shù)據(jù)塊中的每個數(shù)據(jù)塊對應(yīng)的字符串，包括：

所述發(fā)送服務(wù)器根據(jù)所述內(nèi)容切割點將所述目標數(shù)據(jù)切分為多個數(shù)據(jù)塊，并基于MD5算法計算每個數(shù)據(jù)塊的數(shù)字簽名。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述發(fā)送服務(wù)器向接收服務(wù)器發(fā)送包含所述目標字符串的目標數(shù)據(jù)，包括：

所述發(fā)送服務(wù)器在TCP選項中記錄所述目標數(shù)據(jù)的字符串替換信息，并通過所述TCP協(xié)議向接收服務(wù)器發(fā)送包含所述目標字符串的目標數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述緩存分析服務(wù)器通過Apache Hadoop框架下的HDFS存儲所述數(shù)據(jù)替換記錄，并基于使用Apache Spark框架確定所述所有字符串的緩存比貢獻度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述發(fā)送服務(wù)器向接收服務(wù)器發(fā)送包含所述目標字符串的目標數(shù)據(jù)之后，還包括：

所述發(fā)送服務(wù)器將確定出的所述多個數(shù)據(jù)塊中的每個數(shù)據(jù)塊及其對應(yīng)的字符串添加至所述數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表中；

所述接收服務(wù)器在接收到所述目標數(shù)據(jù)后，將所述目標數(shù)據(jù)切分為多個數(shù)據(jù)塊，并基于預(yù)設(shè)規(guī)則確定所述多個數(shù)據(jù)塊中的每個數(shù)據(jù)塊對應(yīng)的字符串；

所述接收服務(wù)器將確定出的所述多個數(shù)據(jù)塊中的每個數(shù)據(jù)塊及其對應(yīng)的字符串添加至所述數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表中。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述發(fā)送服務(wù)器根據(jù)預(yù)先存儲的數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表，將所述目標數(shù)據(jù)中的目標數(shù)據(jù)塊替換為目標字符串，包括：

所述發(fā)送服務(wù)器篩選所述目標數(shù)據(jù)包含的、且在預(yù)先存儲的數(shù)據(jù)塊和字符串的對應(yīng)關(guān)系表中存在對應(yīng)關(guān)系項的目標數(shù)據(jù)塊；

所述發(fā)送服務(wù)器根據(jù)所述對應(yīng)關(guān)系表確定所述目標數(shù)據(jù)塊對應(yīng)的目標字符串，并將所述目標數(shù)據(jù)中的目標數(shù)據(jù)塊替換為所述目標字符串。