[發明專利]一種以大數據流式技術實現網絡數據包的分析方法及系統

有效

• 申請號: 201910985537.0
• 申請日: 2019-10-17
• 公開（公告）號: CN110650212B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 陳鵬;王樹志;張磊;袁思靜
• 申請（專利權）人: 國科元科技（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

本發明實施例公開了一種以大數據流式技術實現網絡數據包的分析方法，包括如下步驟：接收數據，劃分數據包的屬性信息，按照時間順序將數據包先后排序；選擇數據包的屬性，根據不同的屬性組合形式篩選數據流，關聯數據包屬性的映射關系，統計兩個以上相關屬性之間的對應關系；根據數據包屬性的映射信息，篩選出映射信息相同屬性不同的數據流，重新計算屬性之間的對應關系；分析系統包括源IP映射模塊、目的IP映射模塊、屬性篩選單元、源IP信息關聯模塊、目的IP信息關聯模塊；本方案以瀏覽對象和用戶本體為本體，用統計學的方式收集類似用戶的瀏覽信息，正向和反向明確獲得特定用戶的瀏覽記錄，分析用戶的意向，避免出現分析結果不準確的問題。

技術領域

本發明實施例涉及網絡數據包流技術領域，具體涉及一種以大數據流式技術實現網絡數據包的分析方法及系統。

背景技術

互聯網上面存在大量的設備，其中，以網絡服務器為例，其最底層網卡驅動會把網絡上面收到的數據包交給系統上層的程序(例如:http服務、dpi服務)。

現有技術中，當終端設備從網卡緩存中獲取到網絡數據包時，一般采用網絡協議棧進行處理，將網絡數據包傳輸至硬件鏈路層、網絡層、傳輸層、BSD(BerkeleySoftwareDistribution，伯克利軟件發布)Socket層、及應用層，每一層分別進行網絡數據包的解析處理。

利用現有技術的網絡數據包流，可統計從連接開始到連接結束期間的數據包數量和大小，分析每個數據包攜帶的信息，可便于實時預知用戶的需求，評估用戶的喜好內容，掌握基本的客戶資料，從而方便線下交易的快速搞笑。

但是現有的網絡數據包的分析方法還存在以下缺陷：

一般只以用戶為主體，特定分析單一用戶的網絡瀏覽記錄，推送與瀏覽記錄近似的信息，導致信息的推送范窄，靈活性差，對客戶需求的分析范圍狹窄不全面。

發明內容

為此，本發明實施例提供一種以大數據流式技術實現網絡數據包的分析方法及系統，采用以瀏覽對象和用戶本體為本體，正向和反向明確獲得特定用戶的瀏覽記錄，分析用戶的意向，并且統計學的方式收集類似用戶的瀏覽信息，以解決現有技術中導致信息的推送范窄，靈活性差，對客戶需求的分析范圍狹窄不全面的問題。

為了實現上述目的，本發明的實施方式提供如下技術方案：一種以大數據流式技術實現網絡數據包的分析方法，包括如下步驟：

步驟100、接收連接開始和連接結束之間的數據，劃分數據包的屬性信息，按照時間順序將數據包先后排序；

步驟200、選擇數據包的屬性，根據不同的屬性組合形式篩選數據流，關聯數據包屬性的映射關系,統計兩個以上相關屬性之間的對應關系；

步驟300、根據數據包屬性的映射信息，篩選出映射信息相同屬性不同的數據流，關聯計算兩個以上相關屬性之間的對應關系。

作為本發明的一種優選方案，在步驟100中，數據包的屬性信息包括數據響應時間、源IP地址、目的端口地址、傳輸類型和關注時長。

作為本發明的一種優選方案，所述源IP地址和目的端口地址分別鏈接有映射關系，追蹤所述源IP地址映射到用戶基本信息，追蹤所述目的端口地址映射到瀏覽項關鍵信息。

作為本發明的一種優選方案，所述用戶基本信息主要包括用戶姓名、性別、年齡、電話號碼和生活所在區域，所述瀏覽項關鍵信息主要包括小區所在位置、面積大小、裝修情況以及有無學區。

作為本發明的一種優選方案，在步驟200中，根據數據包的屬性信息組合，分別獲取每一個目的端口地址匹配的源IP地址，統計目的端口地址的源IP地址數量，以及源IP地址映射的用戶基本信息，從而分析目的端口地址的受眾用戶，篩選目的端口地址對應源IP地址信息的具體步驟為：