[發明專利]一種數據采集方法和裝置

有效

• 申請號: 201310342198.7
• 申請日: 2013-08-07
• 公開（公告）號: CN104348656B
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 黃平;宮捷
• 申請（專利權）人: 中國移動通信集團北京有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/823
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種數據采集方法和裝置，包括：采集設備從網絡節點采集經過該網絡節點傳輸的數據包；并當采集的該數據包的源地址位于丟棄地址列表中時，丟棄采集的該數據包；以及當采集的該數據包的源地址不位于丟棄地址列表中時，保留采集的該數據包，用于網絡傳輸數據的還原。采用本發明實施例提供的方案，提高了對網絡傳輸數據進行還原的效果。

技術領域

本發明涉及計算機技術領域和互聯網技術領域，尤其涉及一種數據采集方法和裝置。

背景技術

在現有互聯網技術中，經常需要對經過一些網絡節點傳輸的數據進行采集和還原，以便監控所傳輸數據的合法性。現有技術中在采集和還原經過網絡節點的網絡傳輸數據時，通常是將網絡節點的流量數據進行鏡像分流，再使用專用的采集設備將采集的數據包進行重組，還原成網絡傳輸數據，例如網站訪問數據，如網站的頁面數據和圖像數據等。

現有技術中所采集的數據包可以是IP層數據包，在還原時可以對所采集的IP層數據包進行解封裝，并將解封裝后得到的TCP（Transmission Control Protocol，傳輸控制協議）數據片段按TCP序號重組，再根據應用層協議進行內容還原，形成文件并存儲于磁盤。

目前，采集設備通常是對經過網絡節點的網絡流量數據進行全量采集，當網絡流量超過采集設備性能上限時，即超過采集設備的處理能力時，由于不能立即處理采集的數據包，會導致數據包積壓，最終使采集設備的網卡緩沖區溢出，使得采集設備自動丟棄掉部分數據包。

由于采集設備丟棄數據包是隨機的，所以對于分別表示完整會話的多組數據包，均可能存在部分數據包的丟失，再由于TCP會話重組需要依靠序列號，所以不連續的數據包將影響對完整會話的內容還原。

例如，對于頁面數據還原而言，如果數據包丟失在協議頭部，則頁面內容無法還原，而對于目前約80%網站使用的gzip壓縮格式的頁面數據，任意數據包的丟失，均將導致內容無法還原；對于圖片數據還原而言，丟包將造成壓縮圖像無法讀取、變色、破損等，還原后得到的受損圖像將對后續圖像識別產生嚴重影響。

發明內容

本發明實施例提供一種數據采集方法和裝置，用以解決現有技術中存在的對網絡傳輸數據進行還原的效果較差的問題。

本發明實施例提供一種數據采集方法，包括：

采集設備從網絡節點采集經過所述網絡節點傳輸的數據包；

當采集的所述數據包的源地址位于丟棄地址列表中時，丟棄采集的所述數據包；

當采集的所述數據包的源地址不位于丟棄地址列表中時，保留采集的所述數據包，用于網絡傳輸數據的還原。

本發明實施例提供的上述數據采集方法中，采集設備在采集到經過網絡節點傳輸的數據包之后，對于源地址位于丟棄地址列表中的數據包，進行丟棄，對于源地址不位于丟棄地址列表中的數據包，進行保留，并用于網絡傳輸數據的還原，由于表示一個完整會話的一組數據包的源地址是相同的，所以通過主動丟棄源地址位于丟棄地址列表中的一些數據包，降低了隨機丟棄源地址不位于丟棄地址列表中的一些數據包的丟棄概率，從而提高了源地址不位于丟棄地址列表中的數據包表示的網絡傳輸數據還原的成功率，進而提高了對網絡傳輸數據進行還原的效果。

進一步的，在確定采集的所述數據包的源地址是否位于丟棄地址列表中之前，還包括：

確定所述采集設備的性能參數大于第一預設參數閾值，性能參數越大表示所述采集設備的性能越差。

這樣，可以在采集設備的性能較差時，即性能參數大于第一預設參數閾值時，為了避免較高的隨機丟棄數據包的丟棄概率，從而主動丟棄源地址位于丟棄地址列表的數據包，而采集設備的性能較高時，可以不主動丟棄采集的數據包，從而能夠進一步提高對網絡傳輸數據進行還原的效果。