[發明專利]一種差錯容忍的網絡冗余消除實現方法

有效

• 申請號: 201310645795.7
• 申請日: 2013-12-04
• 公開（公告）號: CN103684718B
• 公開（公告）日: 2017-01-18
• 發明（設計）人: 張楠;陽小龍;張敏;隆克平;孫巖;姬桂君;趙慧杰
• 申請（專利權）人: 北京科技大學
• 主分類號: H04L1/22
• 分類號: H04L1/22
• 代理公司: 北京市廣友專利事務所有限責任公司11237
• 代理人: 張仲波

技術領域

本發明涉及網絡技術領域，尤其涉及一種差錯容忍的網絡冗余消除實現方法。

背景技術

由于互聯網上大量相同或相似的內容被網絡邊緣的用戶多次請求，造成了數據在網絡上的重復傳輸，導致了大量的冗余流量，不但消耗網絡帶寬，而且降低了互聯網的效率。隨著存儲設備容量不斷擴大，運算設備性能不斷提高、價格不斷降低，在互聯網引入網內存儲設施，使網絡具有記憶功能已經成為可能，具有存儲功能的互聯網能夠實現網絡冗余流量消除技術，它記錄網絡上傳輸的數據，識別被重復傳輸的數據，從而消除冗余傳輸，起到減少網絡流量、提高網絡性能的作用。但是，在數據冗余消除（Data?Redundancy?Elimination,DRE）過程中，編碼的指紋信息在傳輸過程中會產生誤碼、超時等現象，網絡環境越是復雜，該現象越是明顯，致使接收端或者下游節點接收到錯誤的指紋信息，無法正常譯碼。

為解決現有的數據冗余消除技術容易產生誤碼，導致下游節點無法正常譯碼的問題，現有技術中主要有以下幾種解決機制：

1、基于重傳的解決機制：下游節點檢測接收數據情況，發現錯誤則要求發送端重新發送數據包。該方法存在的問題：嚴重浪費網絡資源，尤其對于無線傳輸環境，重復傳輸的次數會非常多，嚴重影響了網絡傳輸效率。

2、ACK偵聽：下游節點在接收到數據包后將數據包是否正常的情況反饋給發送端。若數據信息正常，發送端可以根據此信息確認該數據包確實正常發送到下游節點。若數據包信息不正常，則發送端則將該條信息緩存到“黑名單”中（該“黑名單”記錄曾經出現傳輸錯誤的數據包的信息），因此，如果同一數據包再次發生錯誤，發送端通過該“黑名單”可以快速查找到出現錯誤的數據包。該方法存在兩點問題：其一，接收端或者下游節點接收到正常的數據包并且發送了確認信息，但是由于網絡延遲的原因發送端沒有收到確認信息而誤認為接收端或者下游節點沒有成功接收數據，發送端會再次發送本來已經成功接收的數據信息而造成信息誤傳，從而浪費網絡資源。其二，該方法無法適用于沒有反饋確認機制的協議中，比如UDP協議（用戶數據包協議）。

綜上所述，現有的數據冗余消除技術存在在傳輸過程中容易產生誤碼導致接收端或者下游節點無法正確譯碼，網絡傳輸效率慢，網絡資源浪費嚴重的問題。

發明內容

本發明的目的在于提供一種差錯容忍的網絡冗余消除實現方法，以解決現有技術在解決編碼的指紋信息在傳輸過程中產生誤碼的問題時，利用基于重傳的解決機制檢測錯誤則要求發送端重新發送數據包，嚴重浪費了網絡資源，也很難保證消息的實時性傳輸的問題；而利用ACK偵聽的方法需要反饋確認信息，無法適用于不存在反饋確認機制的傳輸協議，并且如果反饋確認信息由于網絡延遲等原因不能及時傳輸到發送端導致發送端重復發送數據包的現象會造成嚴重的資源浪費問題。

為解決上述技術問題，本發明提供的一種差錯容忍的網絡冗余消除實現方法，包括：對待發送的數據包中的冗余數據片斷進行指紋編碼；發送端將指紋編碼后的數據包傳輸給接收端或者下游節點；接收端或者下游節點對數據包進行譯碼。

優選地，所述對待發送的數據包中的冗余數據片斷進行指紋編碼，其具體步驟為：

從當前待發送的數據包中選出冗余數據片段；

通過哈希函數計算第一個冗余數據片段至第M個冗余數據片段的HASH值H₁至H_M；其中，M為當前待發送的數據包中選出的冗余數據片段的總數，且M>1；

將當前選出的第一個冗余數據片斷指紋編碼為H_MH₁H₂，將當前選出的第M個冗余數據片斷指紋編碼為H_M-1H_MH₁，將當前選出的第n個冗余數據片斷指紋編碼為H_n-1H_nH_n+1，其中，n為大于1小于M的正整數；

將當前待發送數據包中的冗余數據片斷用其對應的指紋編碼替換。

優選地，所述接收端或者下游節點對數據包進行譯碼之前，在所述接收端或者下游節點預先緩存一張HASH值與數據片斷對應的表。

優選地，所述接收端或者下游節點對數據包進行譯碼，具體步驟為：按順序提取數據包中的所有指紋編碼；確定各指紋編碼對應的冗余數據片段的正確HASH值；根據各冗余數據片段的HASH值，從緩存中HASH值與數據片斷對應的表中提取出相應的數據片斷；將數據包中的各指紋編碼用其對應的數據片斷替換，完成對數據包的譯碼工作。