[發明專利]一種基于動態規則驅動的海量互聯網流量處理系統及方法

在審

• 申請號: 202211044766.0
• 申請日: 2022-08-30
• 公開（公告）號: CN115473819A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 尹磊;趙利;汪靜
• 申請（專利權）人: 電信科學技術第十研究所有限公司
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L41/142;H04L43/08;H04L43/12
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 黃小雪

本發明提供了一種基于動態規則驅動的海量互聯網流量處理系統及方法，屬于流量處理技術領域，該系統包括一級處理層、二級處理層、多業務組分發層、復雜規則層、規則管理層及流量統計反饋層；該方法包括統一規則設置、統一規則處理、統一規則分發、一級白名單處理、二級規則并集處理、三級多業務組規則分發、復雜規則處理、其它流量處理、流量統計反饋、規則動態聯動調整及統一數據分發。本發明通過靈活的規則體系來調度各類處理設備，使海量互聯網流量處理不再是一個固化的分發處理模式，而是一個由用戶規則驅動，與關注流量、分析方向、分析結果相關聯的實時處理新模式，從而構建一個靈活高效、精準獲取、實時可控的流量處理方法。

技術領域

本發明屬于流量處理技術領域，特別涉及運營商核心網(固定/移動)海量流量處理，具體涉及一種基于動態規則驅動的海量互聯網流量處理系統及方法。

背景技術

隨著互聯網的飛速發展，城際互聯網、移動核心網數據流量持續擴容，運營商數據處理流量從x100Gbps增加到xTbps、x10Tbps的規模，針對于海量互聯網流量中協議、流量、內容的分析越來越困難。如何在海量實時網絡流量中靈活精準獲取關注業務流量，如何在海量流量中全面掌握網絡數據流量、網絡協議成為互聯網協議分析的重要工作。

當前主要實現方案有三種：(1)傳統的線路抓包分析一是無發完成如此大流量數據包的存盤寫入工作，二是即便對數據進行存盤寫入，對寫入的數據進行無差別分析處理也變的極為困難；(2)采用網絡核心設備對流量進行采樣分析的方法無法獲取準確、全面的流量內容，特別針對于特定流量，容易造成流量丟失進而導致分析結果不全面，不準確；(3)采用網絡核心設備全接入全處理，則建設費用巨大，且很難跟上數據流量增長速度。

針對傳統線路質量分析、QOS提升、全接入全處理、采樣或局部接入流量的處理方式分別分析如下：

(1)傳統的線路質量分析方式受限于入口限制、處理性能、磁盤IO等因素，適合于較小流量的人工驗證分析，無法處理海量互聯網流量。

(2)按照采樣或局部處理的方式無法獲取準確、全面的流量內容，特別針對于特定流量，容易造成流量丟失進而導致分析結果不全面，不準確。

(3)全接入全處理方式對全量入口流量進行流量接入、規則處理、多業務分發，擴容頻繁、設備規模巨大、處理效能低。

發明內容

為了克服上述現有技術存在的不足，本發明提供了一種基于動態規則驅動的海量互聯網流量處理系統及方法，特別針對面向海量實時互聯網數據處理的靈活精準獲取和處理的方法，為綠色互聯網輔助服務提供支持。

為了實現上述目的，本發明提供如下技術方案：

一種基于動態規則驅動的海量互聯網流量處理系統，包括：

一級處理層，用于以引接GE/10G/100G互聯網流量為數據源，以五元組白名單規則為驅動，去除站點級別的可信網站；

二級處理層，用于以多業務組規則并集為規則驅動，按照流量特征篩選用戶關注流量；

多業務組分發層，用于根據各業務組規則分發復制輸出各自流量，解決數據流多命中復制分發問題；

復雜規則層，該層的數據輸入為組規則命中數據流，解決除五元組和特征串規則外，支持正則表達式、函數表達式、跨包運算規則，支持組內多業務數據的分發；

規則管理層，用于支持五元組規則、特征規則、復雜規則管理，對接收到的規則進行規則合并、規則轉換，轉換為各級分流設備能夠識別的多條規則，并分配內部規則ID給轉換后的規則，分別下發到不同的設備中；

流量統計反饋層，用于實時統計記錄各級分流設備的輸入、輸出流量，并與分流器或處理設備的閾值進行比較，對即將超限或流量異常的情況實時提示提升，聯動反饋規則管理實現動態流量調配。