[發(fā)明專利]全流量存儲回溯分析系統(tǒng)中父子連接的處理方法

有效

• 申請?zhí)枺?/td>: 202111180366.8
• 申請日: 2021-10-11
• 公開（公告）號: CN113630331B
• 公開（公告）日: 2021-12-28
• 發(fā)明（設(shè)計）人: 曲武
• 申請（專利權(quán)）人: 北京金睛云華科技有限公司;金睛云華（沈陽）科技有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L12/851;H04L12/743;H04L29/08
• 代理公司: 沈陽友和欣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 21254
• 代理人: 楊群;郭悅

本發(fā)明涉及數(shù)據(jù)的分析處理技術(shù)領(lǐng)域，具體提供一種全流量存儲回溯分析系統(tǒng)中父子連接的處理方法，包括如下步驟：確定每個worker線程的端口范圍，建立每個worker線程與端口的映射關(guān)系；基于上述設(shè)置的映射關(guān)系，配置流量的兩個方向，一個方向選擇來源端口配置，另一個方向選擇目的端口配置；構(gòu)建每個worker線程局部的數(shù)據(jù)連接哈希映射表；分別對控制連接、數(shù)據(jù)連接以及存儲線程進行處理。本發(fā)明保證了父子連接報文的應(yīng)用識別準確性的同時，也沒有使得同一ip地址分配到同一線程帶來的負載均衡引起的健壯性問題，還能提升整體的高并發(fā)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)的分析處理技術(shù)領(lǐng)域，具體提供一種全流量存儲回溯分析系統(tǒng)中父子連接的處理方法。

背景技術(shù)

對于安全廠商而言，防火墻和全流量存儲回溯分析系統(tǒng)雖然都是對流量進行分析處理，但是對數(shù)據(jù)連接報文的處理邏輯卻是不同的。這是因為防火墻等系統(tǒng)可以保證控制連接和數(shù)據(jù)連接的報文時序，而全流量存儲回溯分析系統(tǒng)則是對報文的鏡像處理，因為多核系統(tǒng)處理報文驅(qū)動收包，故而處理全流量存儲的線程無法保證控制連接和數(shù)據(jù)連接被同一worker線程收到，更無法保證控制連接會比數(shù)據(jù)連接先處理。這對于流量分析系統(tǒng)而言，數(shù)據(jù)連接需要依賴控制連接才能識別出來應(yīng)用類型，如果數(shù)據(jù)連接比控制連接識別出來還慢，很可能影響了應(yīng)用識別的準確度，造成漏報。

以ftp被動PASV為例，為了解決服務(wù)器發(fā)起到客戶的連接問題，當客戶端通知服務(wù)器它處于被動模式時才啟用。在被動方式FTP中，控制連接和數(shù)據(jù)連接都由客戶端發(fā)起，這樣就可以解決從服務(wù)器到客戶端的數(shù)據(jù)端口的入方向連接被防火墻過濾掉的問題。

與主動方式的FTP不同，客戶端不會提交PORT命令并允許服務(wù)器來回連它的數(shù)據(jù)端口，而是提交 PASV命令，這樣做的結(jié)果是服務(wù)器會開啟一個任意的非特權(quán)端口（端口號大于1024，假設(shè)為PortA），并發(fā)送PORT P命令給客戶端。客戶端收到后發(fā)起從本地端口（端口號大于1024，假設(shè)為PortB），到服務(wù)器的端口PortA的連接用來傳送數(shù)據(jù)。對于ftp而言，未能及時識別出ftp流量的后果是，無法實時處理ftp數(shù)據(jù)連接中的文件提取功能，來檢測ftp中下載的流量是否為病毒，是否需要沙箱處理。

對于防火墻，由于是實時處理ftp流量，控制連接建立后才會建立數(shù)據(jù)連接，但是對于全流量存儲系統(tǒng)而言，處理邏輯為鏡像處理報文無法保證數(shù)據(jù)連接的處理時序。業(yè)內(nèi)的通用做法是捕獲進程與分析進程分而治之，捕獲進程負責負載均衡將同一ip的報文送入同一個分析進程，因為父子連接的ip地址相同，故而可以保證分析進程處理父子連接時是按照時序處理的。但是這種設(shè)計方案會增加進程切換以及報文在線程之間流轉(zhuǎn)，也會造成cache miss，從而影響性能。

由于將捕獲線程和分析線程分開的弊端，業(yè)內(nèi)的另一種做法是捕獲線程同時做分析處理，即兩者合二為一，但是需要保證父子連接被同一捕獲線程收到，這需要利用硬件收包驅(qū)動配置，使同一（sip，dip）或者是同一sip或者同一dip的報文被同一捕獲線程收到，但是這種很容易造成負載不均衡，從而影響系統(tǒng)的健壯性。

對于全流量存儲回溯系統(tǒng)中ftp父子連接的處理屬于流量分析的一部分，它并非全流量存儲系統(tǒng)中的關(guān)鍵功能，各個廠商對其并未特別處理，要么犧牲性能，要么犧牲負載均衡帶來的健壯性，要不就忍受多核處理父子連接時序的錯亂帶來的漏報問題。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供了一種全流量存儲回溯分析系統(tǒng)中父子連接的處理方法，對父子連接進行優(yōu)化設(shè)計，保證了父子連接報文的應(yīng)用識別準確性的同時，也沒有使得同一ip地址分配到同一線程帶來的負載均衡引起的健壯性問題，還能提升整體的高并發(fā)性能。

本發(fā)明是這樣實現(xiàn)的，提供一種全流量存儲回溯分析系統(tǒng)中父子連接的處理方法，包括如下步驟：

1）確定每個worker線程的端口范圍，建立每個worker線程與端口的映射關(guān)系；