[發明專利]一種基于流處理的網絡流量數據解析方法和裝置

在審

• 申請號: 201611237378.9
• 申請日: 2016-12-28
• 公開（公告）號: CN108259371A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 滿毅;李北辰;章鐸;李璐;章建功;林春庭;李萍;丁健
• 申請（專利權）人: 億陽信通股份有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L12/823;H04L12/851;H04L29/08;H04L12/26
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種基于流處理的網絡流量數據解析方法，其特征在于，應用于數據處理系統中，所述數據處理系統中預架構有多個流量數據采集節點和多個處理節點，方法包括：從各采集節點獲取信令中轉設備轉接的原始網絡流量數據；

依據協議匹配規則對原始網絡流量數據中的原始報文進行協議匹配；

對協議匹配后的原始報文標注分類標識；

依據所述分類標識和負載均衡原則為加分類標識后的原始報文確定對應的目標處理節點，將協議匹配后的原始報文發送至所述目標處理節點；

所述所有處理節點采用分布式流數據處理方式，對收到的報文依據業務匹配規則進行業務匹配，將匹配出的數據重組為業務XDR數據輸出。

2.根據權利要求1所述的網絡流量數據解析方法，其特征在于，從各采集節點獲取信令中轉設備轉接的原始網絡流量數據之前，還包括：

獲取協議匹配規則、業務匹配規則；

將所述協議匹配規則分發給各采集節點，將所述業務匹配規則分發給各處理節點。

3.根據權利要求2所述的網絡流量數據解析方法，其特征在于，將所述協議匹配規則分發給各采集節點之前，還包括：對所述匹配規則進行整合，去除所述匹配規則中的冗余規則，并分別形成協議匹配判斷樹、業務匹配判斷樹，形成簡化的匹配規則。

4.根據權利要求2或3所述的網絡流量數據解析方法，其特征在于，所述的協議匹配規則、業務匹配規則用正則表達式表述并存儲于配置文件中，或者通過人機交互界面獲取用戶輸入的協議特征、業務需求，然后動態生成用正則表達式表述的協議匹配規則、業務匹配規則。

5.根據權利要求4所述的網絡流量數據解析方法，其特征在于，所述協議特征至少包括：IP地址、端口號和協議類型；所述業務需求至少包括：IP地址、端口號和業務類型。

6.根據權利要求1所述的網絡流量數據解析方法，其特征在于，

對協議匹配后的原始報文標注分類標識；依據所述標識和負載均衡原則為所述加標識后的原始報文確定對應的目標處理節點，將匹配后的原始報文發送至對應的目標處理節點；

進一步包括：依據原始報文內容之間的關聯性，對相互關聯的原始報文配置相同的ID標識，將相同ID標識的報文發送至相同的目標處理節點。

7.根據權利要求6所述的網絡流量數據解析方法，其特征在于，所述存在關聯性的原始報文指的是：具有相同信源和信宿的數據報文、同一時間段內發出的數據報文、具有相同端口號的數據報文。

8.根據權利要求1所述的網絡流量數據解析方法，其特征在于，還包括將所述輸出的業務XDR數據進行分布式文件存儲。

9.一種基于流處理的網絡流量數據解析系統，其特征在于，包括：采集分發子系統和業務匹配子系統；所述采集分發子系統包括架構多個流量數據采集節點，每個采集節點包括如下模塊：

采集模塊，用于獲取信令中轉設備轉接的原始網絡流量數據；

協議匹配模塊，依據協議匹配規則對采集模塊獲取到的原始網絡流量數據中的原始報文進行協議匹配；

標識模塊，對協議匹配后的原始報文標注分類標識；

分發模塊，用于依據所述分類標識和負載均衡原則為加分類標識后的原始報文確定對應的目標處理節點，將協議匹配后的原始報文發送至所述目標處理節點；

所述業務匹配子系統包括多個處理節點，共同采用分布式流數據處理方式工作，每個處理節點包括一個匹配引擎，所述匹配引擎依據業務匹配規則對收到的報文進行業務匹配，將匹配出的數據重組為業務XDR數據輸出。