[發(fā)明專利]一種簡(jiǎn)單高效的多鏈路數(shù)據(jù)去重方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110652823.2
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113452621B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 張凱;鄭應(yīng)強(qiáng);劉同鶴
• 申請(qǐng)（專利權(quán)）人: 北京連山科技股份有限公司
• 主分類號(hào): H04L47/31
• 分類號(hào): H04L47/31;H04L47/32
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 趙銀萍

1.一種簡(jiǎn)單高效的多鏈路數(shù)據(jù)去重方法，其特征在于，包括：

獲取接收端接收的若干個(gè)鏈路數(shù)據(jù)包：

分別確定若干個(gè)鏈路數(shù)據(jù)包的類型并進(jìn)行分類，確定為第一鏈路數(shù)據(jù)包集合及第二鏈路數(shù)據(jù)包集合；所述第一鏈路數(shù)據(jù)包集合包括多個(gè)第一鏈路數(shù)據(jù)包，所述第一鏈路數(shù)據(jù)包為鏈路碎片數(shù)據(jù)；所述第二鏈路數(shù)據(jù)包集合包括多個(gè)第二鏈路數(shù)據(jù)包，所述第二鏈路數(shù)據(jù)包為鏈路完整數(shù)據(jù)；

分別判斷第一鏈路數(shù)據(jù)包集合中的第一鏈路數(shù)據(jù)包是否為冗余包，篩選出為冗余包的第一鏈路數(shù)據(jù)包并進(jìn)行去重處理；

分別判斷第二鏈路數(shù)據(jù)包集合中的第二鏈路數(shù)據(jù)包是否為冗余包，篩選出為冗余包的第二鏈路數(shù)據(jù)包并進(jìn)行去重處理；

分別判斷第一鏈路數(shù)據(jù)包集合中的第一鏈路數(shù)據(jù)包是否為冗余包，篩選出為冗余包的第一鏈路數(shù)據(jù)包并進(jìn)行去重處理，包括：

獲取歷史第一鏈路數(shù)據(jù)包的源id，并建立去重紅黑樹；

所述去重紅黑樹包括多個(gè)樹節(jié)點(diǎn)，每一個(gè)樹節(jié)點(diǎn)中存儲(chǔ)有源端口、目的端口及歷史第一鏈路數(shù)據(jù)包序號(hào)；

根據(jù)每一個(gè)樹節(jié)點(diǎn)中存儲(chǔ)的源端口、目的端口及歷史第一鏈路數(shù)據(jù)包序號(hào)建立第一hash表；

所述第一hash表包括多個(gè)第一節(jié)點(diǎn)，每個(gè)第一節(jié)點(diǎn)中存儲(chǔ)有歷史信息；

獲取第一鏈路數(shù)據(jù)包的源id，根據(jù)第一鏈路數(shù)據(jù)包的源id在所述去重紅黑樹上確定目標(biāo)樹節(jié)點(diǎn)；

根據(jù)目標(biāo)樹節(jié)點(diǎn)中存儲(chǔ)的第一目標(biāo)包序號(hào)快速定位到第一hash表中的相應(yīng)位置，確定第一目標(biāo)節(jié)點(diǎn)；

將本次的第一鏈路數(shù)據(jù)包的第一待存儲(chǔ)信息與第一目標(biāo)節(jié)點(diǎn)存儲(chǔ)的歷史信息進(jìn)行比較，在確定兩者一致時(shí)，判斷第一目標(biāo)節(jié)點(diǎn)存儲(chǔ)歷史信息與本次的第一鏈路數(shù)據(jù)包的第一待存儲(chǔ)信息之間的時(shí)間差是否小于預(yù)設(shè)時(shí)間差；

在確定第一目標(biāo)節(jié)點(diǎn)存儲(chǔ)歷史信息與本次的第一鏈路數(shù)據(jù)包的第一待存儲(chǔ)信息之間的時(shí)間差小于預(yù)設(shè)時(shí)間差時(shí)，表示第一鏈路數(shù)據(jù)包為冗余包，進(jìn)行去重處理，不進(jìn)入后續(xù)的數(shù)據(jù)重組處理流程；

分別判斷第二鏈路數(shù)據(jù)包集合中的第二鏈路數(shù)據(jù)包是否為冗余包，篩選出為冗余包的第二鏈路數(shù)據(jù)包并進(jìn)行去重處理，包括：

獲取歷史第二鏈路數(shù)據(jù)包的源i d，建立第二hash表及第三hash表；所述第二hash表以歷史第二鏈路數(shù)據(jù)包的源i d為KEY；所述第二hash表與所述第三hash表建立關(guān)聯(lián)關(guān)系；

獲取第二鏈路數(shù)據(jù)包的源i d，快速查找到第二hash表中第二目標(biāo)節(jié)點(diǎn)；

根據(jù)所述第二目標(biāo)節(jié)點(diǎn)中存儲(chǔ)的第二目標(biāo)包序號(hào)快速定位到第三hash表中的相應(yīng)位置，確定第三目標(biāo)節(jié)點(diǎn)；

在確定所述第三目標(biāo)節(jié)點(diǎn)中存儲(chǔ)的第三目標(biāo)包序號(hào)與第二鏈路數(shù)據(jù)包序號(hào)一致時(shí)，判斷第三目標(biāo)節(jié)點(diǎn)歷史存儲(chǔ)第三目標(biāo)包序號(hào)與本次收到第二鏈路數(shù)據(jù)包之間的時(shí)間差是否小于預(yù)設(shè)時(shí)間差；

在確定第三目標(biāo)節(jié)點(diǎn)歷史存儲(chǔ)第三目標(biāo)包序號(hào)與本次收到第二鏈路數(shù)據(jù)包之間的時(shí)間差小于預(yù)設(shè)時(shí)間差時(shí)，表示第二鏈路數(shù)據(jù)包為冗余包，進(jìn)行去重處理，不進(jìn)入后續(xù)的數(shù)據(jù)重組處理流程。

2.如權(quán)利要求1所述的簡(jiǎn)單高效的多鏈路數(shù)據(jù)去重方法，其特征在于，所述時(shí)間差為3s。

3.如權(quán)利要求1所述的簡(jiǎn)單高效的多鏈路數(shù)據(jù)去重方法，其特征在于，所述歷史信息包括歷史第一鏈路數(shù)據(jù)包序號(hào)、用于重組數(shù)據(jù)的bit map值，歷史第一鏈路數(shù)據(jù)包的長度、歷史第一鏈路數(shù)據(jù)包在待傳輸數(shù)據(jù)包內(nèi)的偏移位置，歷史第一鏈路數(shù)據(jù)包的唯一標(biāo)識(shí)ID、歷史第一鏈路數(shù)據(jù)包的被接收時(shí)間。