[發(fā)明專利]一種高速鏡像網(wǎng)絡(luò)流量中外發(fā)文件的提取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710751696.5
• 申請(qǐng)日: 2017-08-28
• 公開（公告）號(hào): CN107592303B
• 公開（公告）日: 2020-01-03
• 發(fā)明（設(shè)計(jì)）人: 魏效征;王志海;喻波;安鵬;牛立偉
• 申請(qǐng)（專利權(quán)）人: 北京明朝萬達(dá)科技股份有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L12/931;H04L12/937;G06F16/172
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種高速鏡像網(wǎng)絡(luò)流量中外發(fā)文件的提取方法，該方法包括以下步驟：

(1)在交換機(jī)或路由器上，將一個(gè)或多個(gè)源端口的數(shù)據(jù)流量轉(zhuǎn)發(fā)到某一個(gè)指定端口來實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)聽；為監(jiān)聽的每個(gè)四元組標(biāo)識(shí)的TCP數(shù)據(jù)，創(chuàng)建一個(gè)HASH桶；

(2)每個(gè)TCP數(shù)據(jù)包到來時(shí)根據(jù)四元組標(biāo)識(shí)信息，將TCP數(shù)據(jù)放入相應(yīng)的HASH桶；

(3)對(duì)放入相應(yīng)HASH桶中的TCP數(shù)據(jù)進(jìn)行協(xié)議識(shí)別和協(xié)議數(shù)據(jù)解析；

(4)接收協(xié)議數(shù)據(jù)解析得到的消息，并從該消息中提取文檔屬性信息；

(5)根據(jù)該文檔屬性信息提取文檔數(shù)據(jù)，并將提取的文檔數(shù)據(jù)存儲(chǔ)在內(nèi)存文件系統(tǒng)上；

其中，所述協(xié)議數(shù)據(jù)解析采用線程池實(shí)現(xiàn)高速鏡像網(wǎng)絡(luò)流量中的高并發(fā)TCP會(huì)話數(shù)據(jù)解析；

文檔隨后轉(zhuǎn)存到硬盤上。

2.根據(jù)權(quán)利要求1所述的方法，所述步驟(2)之后還包括：

TCP會(huì)話結(jié)束時(shí)，關(guān)閉為TCP數(shù)據(jù)創(chuàng)建的HASH桶。

3.根據(jù)權(quán)利要求1所述的方法，所述步驟(3)中的協(xié)議識(shí)別包括：

根據(jù)會(huì)話數(shù)據(jù)中應(yīng)用請(qǐng)求的命令字和相應(yīng)的響應(yīng)代碼，確定應(yīng)用協(xié)議的類型，包括：HTTP、SMTP或者FTP協(xié)議。

4.根據(jù)權(quán)利要求3所述的方法，所述步驟(3)中的協(xié)議數(shù)據(jù)解析包括：確定協(xié)議類型后，根據(jù)協(xié)議的特定流程，解析協(xié)議內(nèi)容中的附件或文件；

所述協(xié)議數(shù)據(jù)解析采用線程池實(shí)現(xiàn)高速鏡像網(wǎng)絡(luò)流量中的高并發(fā)TCP會(huì)話數(shù)據(jù)解析具體包括：每個(gè)TCP會(huì)話結(jié)束后，會(huì)給線程池發(fā)一個(gè)消息，線程池得到消息后，立刻建立一個(gè)線程，來處理這個(gè)TCP會(huì)話。

5.一種高速鏡像網(wǎng)絡(luò)流量中外發(fā)文件的提取裝置，該裝置包括：

會(huì)話還原模塊，在交換機(jī)或路由器上，將一個(gè)或多個(gè)源端口的數(shù)據(jù)流量轉(zhuǎn)發(fā)到某一個(gè)指定端口來實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)聽；為監(jiān)聽的每個(gè)四元組標(biāo)識(shí)的TCP數(shù)據(jù)，創(chuàng)建一個(gè)HASH桶，每個(gè)TCP數(shù)據(jù)包到來時(shí)根據(jù)四元組標(biāo)識(shí)信息，將TCP數(shù)據(jù)放入相應(yīng)的HASH桶，TCP會(huì)話結(jié)束時(shí)，關(guān)閉為TCP數(shù)據(jù)創(chuàng)建的HASH桶，發(fā)送消息給協(xié)議解析模塊；

協(xié)議解析模塊，對(duì)放入相應(yīng)HASH桶中的TCP數(shù)據(jù)進(jìn)行協(xié)議識(shí)別和協(xié)議數(shù)據(jù)解析，協(xié)議數(shù)據(jù)解析完成后，發(fā)送消息給文檔存儲(chǔ)模塊；

文檔存儲(chǔ)模塊，接收協(xié)議解析模塊發(fā)送的消息，并從該消息中提取文檔屬性信息，根據(jù)該文檔屬性信息提取文檔數(shù)據(jù)，并將提取的文檔數(shù)據(jù)存儲(chǔ)在內(nèi)存文件系統(tǒng)上；

其中，所述協(xié)議數(shù)據(jù)解析采用線程池實(shí)現(xiàn)高速鏡像網(wǎng)絡(luò)流量中的高并發(fā)TCP會(huì)話數(shù)據(jù)解析；

文檔隨后轉(zhuǎn)存到硬盤上。

6.根據(jù)權(quán)利要求5所述的裝置，所述協(xié)議識(shí)別包括：

根據(jù)會(huì)話數(shù)據(jù)中應(yīng)用請(qǐng)求的命令字和相應(yīng)的響應(yīng)代碼，確定應(yīng)用協(xié)議的類型，包括：HTTP、SMTP或者FTP協(xié)議。

7.根據(jù)權(quán)利要求6所述的裝置，所述協(xié)議數(shù)據(jù)解析采用線程池實(shí)現(xiàn)高速鏡像網(wǎng)絡(luò)流量中的高并發(fā)TCP會(huì)話數(shù)據(jù)解析具體包括：每個(gè)TCP會(huì)話結(jié)束后，會(huì)給線程池發(fā)一個(gè)消息，線程池得到消息后，立刻建立一個(gè)線程，來處理這個(gè)TCP會(huì)話。

8.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其包括計(jì)算機(jī)程序指令，當(dāng)執(zhí)行該計(jì)算機(jī)程序指令時(shí)，執(zhí)行權(quán)利要求1-4之一的所述方法。