[發明專利]全流量回溯分析系統的內存優化方法和設備

有效

• 申請號: 202111242869.3
• 申請日: 2021-10-25
• 公開（公告）號: CN113672398B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 曲武
• 申請（專利權）人: 北京金睛云華科技有限公司;金睛云華（沈陽）科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L49/90
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 李巨智

本發明的實施例提供一種全流量回溯分析系統的內存優化方法和設備。所述方法包括內存管理線程響應于系統啟動指令，為每個CPU申請報文存儲單元，將報文存儲單元初始化分配到內存池中；當捕獲線程接收到報文，需要申請報文存儲單元時，根據報文的來源，從捕獲線程對應的內存池中申請報文存儲單元的地址使用；當捕獲線程需要釋放報文存儲單元時，若報文存儲單元所屬于捕獲線程的內存池，則將報文存儲單元分配到內存池；當待釋放的報文存儲單元的數量達到數量閾值時，將待釋放的報文存儲單元發送至內存管理線程，并由內存管理線程釋放至高負載CPU對應的內存池中。以此方式，能夠使緩存報文能夠被合理利用，保證了高健壯性和高并發性。

技術領域

本發明一般涉及網絡監測領域，并且更具體地，涉及一種全流量回溯分析系統的內存優化方法和設備。

背景技術

IT技術風起云涌，技術的變革正在不斷加速，設備所產生海量數據，網絡設備接口報文流量已經達到每秒10Gbps、40Gbps甚至更高，如今全流量回溯分析系統不僅僅要捕獲報文，還需要對報文進行存儲，更需要進行流量分析以及威脅檢測，這對傳統運維和安全均產生了巨大挑戰，報文全流量回溯分析系統的性能成為每個廠商重中之重。

全流量回溯分析系統具有對報文進行捕獲、分析和存儲的功能，整個系統中最基礎的元素就是報文存儲單元mbuf（memory buffer），由于涉及到分析和存儲，這些報文資源如果釋放不及時很容易導致資源枯竭。報文的申請方式如果設置為隨用隨動態分配，使用完再釋放，因為分配/釋放消耗性能，這種機制會導致整體處理非常慢。如果報文使用內存池機制申請，那么預先需要申請固定數量的報文。因為全流量存儲回溯系統都有基本的流量分析威脅檢測的功能，在報文解析過程中一定會涉及到流量緩存過程，尤其是遇到以消耗資源為主的攻擊時，這部分報文如果不及時釋放很容易導致內存池枯竭，初始化申請過多又會造成內存申請浪費，這部分設計的好壞直接影響整體系統的健壯性和高性能。

報文捕獲存儲系統是使用鏡像或者分光的方式來收集報文，由于網卡收包時未必會將同一會話的報文分配給同一線程，行業的通用設計方法是在多核系統中通常是分配N個線程進行捕獲，再使用M個線程進行分析，最后用X個線程來存儲報文，這種設計方式導致報文處理過程造成大量緩存丟失，從而影響性能。全流量回溯分析系統中性能最好的場景就是worker模式，即捕獲和分析在同一線程以減少緩存丟失和線程切換導致的性能開銷。又因為分析線程通常是以流為單位，多核系統中最好的場景即報文捕獲的同時即能保證同一流的左右兩個方向被同一捕獲線程收到，這樣才能使多核處理時高并發無流這種競爭資源，從而提升性能。而這種設計通常是硬件上通過配置來使同一流的兩個方向報文被同一線程收到，這樣做的弊端是經常會出現負載不均衡的場景，即不同的捕獲線程處理的報文流量是不均衡的。

而對于worker模式，可以將報文的內存池設置為每核資源，當前通用的設計方案是將每核報文內存池資源都設置為相同數量，但是當出現流量負載不均衡的現象時，內存池的設計方式很容易導致報文浪費。

發明內容

根據本發明的實施例，提供了一種全流量回溯分析系統的內存優化方案。本方案能夠使緩存報文能夠被合理利用，保證了高健壯性和高并發性。

在本發明的第一方面，提供了一種全流量回溯分析系統的內存優化方法。該方法包括：

內存管理線程響應于系統啟動指令，為每個CPU申請報文存儲單元，并通過所述CPU對應的捕獲線程將所述報文存儲單元初始化分配到對應的內存池中；

當捕獲線程接收到報文，需要申請報文存儲單元時，對所述報文存儲單元的所屬關系進行標記；根據所述報文的來源，從所述捕獲線程對應的內存池中申請報文存儲單元的地址使用；

當捕獲線程需要釋放報文存儲單元時，若所述報文存儲單元所屬于所述捕獲線程的內存池，則將所述報文存儲單元分配到所述內存池；否則，當待釋放的報文存儲單元的數量達到預設的第一數量閾值時，將待釋放的報文存儲單元發送至所述內存管理線程，并由所述內存管理線程釋放至高負載CPU對應的內存池中。