[發明專利]一種多源網絡流量內容完整還原方法和裝置

有效

• 申請號: 202110247027.0
• 申請日: 2021-03-05
• 公開（公告）號: CN112995184B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 方順建;盧文朋;陳勁松;付明衛
• 申請（專利權）人: 中電積至（海南）信息技術有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/146;H04L67/63;H04L9/40;G06F16/14
• 代理公司: 重慶百潤洪知識產權代理有限公司 50219
• 代理人: 陳付玉

本發明公開了一種多源網絡流量內容完整還原方法，包括以下步驟：S1011：雙向流的情況下，采用傳輸URL、客戶端IP地址ClientIP、原始文件總長度TotalLen三者的組合，計算其哈希值h_final作為最終的文件標識ID，涉及高速網絡流量處理?內容還原?多源傳輸文件完整還原技術領域。該多源網絡流量內容完整還原方法旨在解決大文件訪問下載時，用戶端、服務端為提高用戶體驗和下載效率而采取的多線程、分片段傳輸時，從不同的服務端下載同一文件的不同偏移、不同編號的文件片段，從而導致流量被分流到多個流量審計設備而無法還原原始完整文件的問題，滿足了企業或組織對文件內容審查的需求，在檢測不良內容、防止泄密隱患等方面有明顯作用。

技術領域

本發明涉及高速網絡流量處理-內容還原-多源傳輸文件完整還原技術領域，具體為一種多源網絡流量內容完整還原方法和裝置。

背景技術

網絡流量內容還原在互聯網信息內容安全審計中有廣泛的應用需求，一些安全性要求較高的企業或組織，對互聯網傳輸的音視頻內容有較強的監測需求，通過對出入互聯網的音視頻流量進行實時監測審計，以及時發現其中的不良內容，例如，一些網絡服務提供商，需要對用戶訪問的音視頻內容進行審查，再比如，一些從事特殊行業的重要單位和組織，需要對其單位流出的文件進行審查，以發現其中可能存在的泄密信息，隨著互聯網帶寬的增長、文檔內容的多媒體化以及網絡存儲空間的廉價化，網絡中出現越來越多的較大文件，一些用戶代理為提高用戶的訪問體驗和下載速度，會采取文件分片和多線程并發訪問的下載方式，從而導致同一個文件被拆分到多個鏈接和應用層會話中傳輸，這對傳統的以單鏈接、單會話為單位的流量還原技術帶來巨大挑戰。

由于單鏈接、單會話還原的文件是破損、不完整的，所以需要對多個會話的內容進行聚合，以實現完整文件的還原，但是，服務提供商為了保證服務高可用，通常采用以CDN技術為主導的多點接入的服務提供形式，這就導致用戶通過同一個URL訪問同一個文件，會被分配到不同的服務節點，即訪問了不同的服務端IP地址，形成了“多源”現象，通常以旁路形式部署的網絡流量審計設備，分光器一般以二元組（客戶端IP地址、服務端IP地址）或以上為分流策略，這就導致用戶訪問的同一個文件的多個片段會被多臺流量審計設備處理，其中任意一臺都會因為文件不完整而無法還原原始文件的內容。

目前的流量審計設備一般都是獨立進行運作的，目標是單鏈接、甚至是單應用層會話的內容還原，專利CN 201110398880網絡文件還原方法和裝置提出了網絡報文級的流量重組和文件還原方法，是在單臺流量審計設備上進行的操作，專利CN 201010112581一種網絡流量還原方法提出了以TCP鏈接為單位的內容還原方法，采取了針對IP地址的異或方案進行分流，處理相同二元組情況下的內容還原，專利CN201510383093.5一種流量還原方法及裝置提出了采用DOM樹的超文本流量還原技術，是一種以會話為單位的關聯還原技術。

以上流量還原技術都是以單臺流量審計設備為單元進行處理的，甚至是單臺流量審計設備上的單鏈接、單應用層會話進行處理的，無法處理多源分片傳輸的情況：

1.網絡流量分流策略與多源傳輸矛盾：當網絡出入口總流量超過一臺設備的處理能力時，需要采用分流設備將流量分給多臺流量審計設備進行處理，分流設備一般采用二元組分流策略，故而不同的二元組有可能被分到不同的設備進行處理，由于多源傳輸時服務端IP地址不同，因此各流量審計設備都無法獲取全部的文件分片內容；

2.分片傳輸導致以會話為單位的內容還原不可行：網絡音視頻、超大文件的傳輸，常以多鏈接、多會話的形式分片段進行訪問下載，每個分片傳輸都是一個應用層會話，可能隸屬不同的鏈接，這對通常的以會話為單位的內容還原技術帶來很大挑戰，高性能流量審計設備處理10Gbps以上的流量，在單臺設備內進行多鏈接、多會話關聯不可避免用到鎖，會對設備性能造成很大影響；

3.重新下載、斷點續傳導致分片內容存在重復傳輸：在出現重復的部分分片內容時，粗暴的拼接文件分片會導致文件破損，為完整還原原始文件，需要處理文件分片去重、空洞補全等操作，需要解決同一文件的多個分片的唯一標識和關聯聚合。