[發(fā)明專利]一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110336624.0
• 申請(qǐng)日: 2021-03-29
• 公開(kāi)（公告）號(hào): CN113098858B
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 周明富;樊志杰;陳家明
• 申請(qǐng)（專利權(quán)）人: 上海辰銳信息科技有限公司
• 主分類號(hào): H04L69/22
• 分類號(hào): H04L69/22;H04L69/16
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 俞滌炯

本發(fā)明提供了一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)及方法，涉及數(shù)據(jù)處理領(lǐng)域；無(wú)鎖處理系統(tǒng)設(shè)置于處理器中；包括多個(gè)獨(dú)立的處理單元，每個(gè)處理單元分別包括：鏈路層解析模塊，用于對(duì)建鏈報(bào)文進(jìn)行解析；流表查詢模塊，用于流表查詢單元中查詢對(duì)應(yīng)的流表信息；應(yīng)用層解析模塊，用于流表查詢單元中存在對(duì)應(yīng)的流表時(shí)，進(jìn)行應(yīng)用層解析，并將最終解析結(jié)果匯總至數(shù)據(jù)庫(kù)中進(jìn)行保存。上述技術(shù)方案的有益效果是：通過(guò)無(wú)鎖處理系統(tǒng)，可以直接對(duì)流表進(jìn)行查詢和創(chuàng)建。通過(guò)本發(fā)明解決相關(guān)技術(shù)中建鏈報(bào)文效率低、丟包和報(bào)錯(cuò)等問(wèn)題，提供一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)及方法，簡(jiǎn)化協(xié)議棧交互形式，提高建鏈報(bào)文的效率和降低丟包以及報(bào)錯(cuò)的發(fā)生概率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)及方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來(lái)，各種數(shù)據(jù)以指數(shù)級(jí)增長(zhǎng)，流量包數(shù)據(jù)越來(lái)越大，快速采集還原數(shù)據(jù)流成為發(fā)展趨勢(shì)，現(xiàn)有技術(shù)中數(shù)據(jù)采集通常是使用的共享的TCP/IP協(xié)議棧，接收到流量包后先經(jīng)鏈路層解析，解析完再用讀鎖的方式查詢流表，查到流表后，進(jìn)入應(yīng)用層解析并發(fā)往數(shù)據(jù)庫(kù)，當(dāng)未讀到流表時(shí)，需要TCP協(xié)議棧用寫鎖的方式去創(chuàng)建流表，創(chuàng)建流表后再進(jìn)行應(yīng)用層解析，再發(fā)往數(shù)據(jù)庫(kù)。

現(xiàn)有技術(shù)中，當(dāng)多線程同時(shí)進(jìn)行數(shù)據(jù)采集時(shí)必須通過(guò)解鎖和寫鎖的的方式與TCP/IP協(xié)議棧進(jìn)行交互，交互復(fù)雜，且會(huì)導(dǎo)致數(shù)據(jù)采集的時(shí)候建鏈報(bào)文效率低，單線程處理時(shí)，因?yàn)榱髁堪^(guò)大，超出協(xié)議棧處理能力，會(huì)出現(xiàn)丟包和報(bào)錯(cuò)等問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明提供了一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)及方法的技術(shù)方案，旨在有效地改善乃至解決建鏈報(bào)文的效率低的問(wèn)題，提升協(xié)議棧在數(shù)據(jù)采集的效率。

根據(jù)本發(fā)明，提供了一種建鏈報(bào)文的無(wú)鎖處理系統(tǒng)，設(shè)置于處理器中；包括多個(gè)獨(dú)立的處理單元，每個(gè)所述處理單元的輸入端分別連接至網(wǎng)卡的輸出端，每個(gè)所述處理單元的輸出端分別連接至一數(shù)據(jù)庫(kù)，每個(gè)所述處理單元的查詢端分別連接至一流表查詢單元；

每個(gè)所述處理單元用于承載一個(gè)處理線程，每個(gè)所述處理線程分別對(duì)應(yīng)于一個(gè)協(xié)議棧；

則每個(gè)所述處理單元分別包括：

鏈路層解析模塊，用于獲取所述網(wǎng)卡輸出的所述建鏈報(bào)文并進(jìn)行解析，輸出解析結(jié)果；

流表查詢模塊，連接所述鏈路層解析模塊，用于根據(jù)所述解析結(jié)果，于所述流表查詢單元中查詢對(duì)應(yīng)的流表信息，并輸出查詢結(jié)果；

應(yīng)用層解析模塊，連接所述流表查詢模塊，用于在所述查詢結(jié)果為所述流表查詢單元中存在對(duì)應(yīng)的流表時(shí)，根據(jù)所述流表對(duì)所述建鏈報(bào)文進(jìn)行應(yīng)用層解析，并將最終解析結(jié)果匯總至所述數(shù)據(jù)庫(kù)中進(jìn)行保存。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，還包括一建表單元，分別連接每個(gè)所述處理單元以及所述流表查詢單元，用于在所述查詢結(jié)果為所述流表查詢單元不存在對(duì)應(yīng)的流表時(shí)，在所述流表查詢單元中創(chuàng)建對(duì)應(yīng)的流表。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，所述鏈路層解析模塊解析得到的所述解析結(jié)果中包括所述建鏈報(bào)文的報(bào)文長(zhǎng)度以及報(bào)文序號(hào)。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，所述流表查詢模塊采用無(wú)鎖處理的方式對(duì)所述流表查詢單元發(fā)起查詢。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，所述建表單元采用無(wú)鎖處理的方式在所述流表查詢單元中建立對(duì)應(yīng)的流表。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，所述建表單元為TCP協(xié)議棧。

進(jìn)一步地，該無(wú)鎖處理系統(tǒng)，其中，所有所述應(yīng)用層解析模塊輸出的所述最終解析結(jié)果以聚合方式被送入至所述數(shù)據(jù)庫(kù)中進(jìn)行保存。

一種建鏈報(bào)文的無(wú)鎖處理方法，應(yīng)用于處理器；包括上述的無(wú)鎖處理系統(tǒng)并包括：

步驟S1，將所述建鏈報(bào)文分別送入多個(gè)獨(dú)立的處理線程中進(jìn)行鏈路層解析；