[發(fā)明專(zhuān)利]一種自動(dòng)識(shí)別流量并提取應(yīng)用規(guī)則的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811412144.2
• 申請(qǐng)日: 2018-11-25
• 公開(kāi)（公告）號(hào): CN109600317B
• 公開(kāi)（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 王娜;蔡莎;林飛;古元;毛華陽(yáng);華仲鋒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京亞鴻世紀(jì)科技發(fā)展有限公司
• 主分類(lèi)號(hào): H04L47/2441
• 分類(lèi)號(hào): H04L47/2441;H04L47/2483;H04L67/02;H04L47/10;H04L61/4511;H04L41/0604
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種自動(dòng)識(shí)別流量并提取應(yīng)用規(guī)則的裝置，其特征在于由流量分類(lèi)模塊、流量過(guò)濾模塊、http流量自動(dòng)學(xué)習(xí)分析模塊、非http流量特征提取模塊組成；流量分類(lèi)模塊由流量對(duì)比器和http流量特征表組成；流量過(guò)濾模塊由流量過(guò)濾器、流量規(guī)則指紋庫(kù)組成；http流量自動(dòng)學(xué)習(xí)分析模塊由流量類(lèi)型判斷模塊、特征字符串匹配分析器、域名和網(wǎng)頁(yè)title分析器、服務(wù)器ip地址分析器組成；非http流量特征提取模塊由非http流量記錄器和16進(jìn)制特征轉(zhuǎn)換器組成；

本發(fā)明的具體實(shí)現(xiàn)步驟包括：

1）網(wǎng)絡(luò)應(yīng)用流量的分類(lèi)

①流量分類(lèi)模塊讀取網(wǎng)絡(luò)應(yīng)用流量，根據(jù)http流量特征表由流量對(duì)比器將網(wǎng)絡(luò)應(yīng)用流量分成http流量和非http流量，并將http流量和非http流量發(fā)送給流量過(guò)濾器；

②http流量特征表包括三部分，分別是：http的標(biāo)準(zhǔn)頭部特征，http的標(biāo)準(zhǔn)字段和http的獨(dú)有屬性；http的標(biāo)準(zhǔn)頭部特征為http.request.method，其值包括：GET，POST，HEAD，PUT，DELETE，OPTIONS，CONNECT，TRACE，PATCH，MOVE，COPY，LINK，UNLINK，WRAPPED，Extension-mothed；http的標(biāo)準(zhǔn)字段是http請(qǐng)求時(shí)，流量的頭部特征，包括：Referer:，rf:，Origin:，Content-Type:，User-Agent:，Host:，userToken:，Cookie:，Q-UA2:，Q-GUID:，QQ-S-ZIP:，Apn-Type:，Date:，Pragma:，Range:，Location:，Server:，Last-modified:，PostData；http的獨(dú)有屬性就是針對(duì)特殊應(yīng)用獨(dú)有的http的標(biāo)準(zhǔn)字段，qyi-id是愛(ài)奇藝http流量獨(dú)有的，qqread是騰訊閱讀http流量獨(dú)有的；

③流量對(duì)比器提取網(wǎng)絡(luò)應(yīng)用流量的IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容，并將所提取的內(nèi)容與http流量特征表比對(duì)，當(dāng)網(wǎng)絡(luò)應(yīng)用流量的內(nèi)容屬于http流量特征表所記錄的內(nèi)容時(shí)，標(biāo)記網(wǎng)絡(luò)應(yīng)用流量為http流量，流量對(duì)比器將http流量發(fā)送給流量過(guò)濾器；

④流量對(duì)比器提取網(wǎng)絡(luò)應(yīng)用流量的IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容，并將所提取的內(nèi)容與http流量特征表比對(duì)，當(dāng)網(wǎng)絡(luò)應(yīng)用流量的內(nèi)容不屬于http流量特征表所記錄的內(nèi)容時(shí)，標(biāo)記網(wǎng)絡(luò)應(yīng)用流量為非http流量，流量對(duì)比器將非http流量發(fā)送給流量過(guò)濾器；

2）網(wǎng)絡(luò)應(yīng)用流量的過(guò)濾

①流量過(guò)濾器接收http流量并提取http流量的內(nèi)容與流量規(guī)則指紋庫(kù)中的http流量規(guī)則指紋集合對(duì)比，當(dāng)http流量的內(nèi)容在http流量規(guī)則指紋集合中有記錄時(shí)放棄http流量；當(dāng)http流量的內(nèi)容在http流量規(guī)則指紋庫(kù)集合中沒(méi)有記錄時(shí)標(biāo)記http流量為未匹配的http流量；流量過(guò)濾器將未匹配的http流量發(fā)送給流量類(lèi)型判斷模塊；

②流量過(guò)濾器接收非http流量并提取非http流量的IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容，流量過(guò)濾器使用16進(jìn)制特征轉(zhuǎn)換器將非http流量的IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容轉(zhuǎn)換成16進(jìn)制的非http流量特征指紋；流量過(guò)濾器將非http流量特征指紋與流量規(guī)則指紋庫(kù)中的非http流量規(guī)則指紋集合對(duì)比，當(dāng)非http流量特征指紋在非http流量規(guī)則指紋集合中有記錄時(shí)放棄非http流量；當(dāng)非http流量特征指紋在非http流量規(guī)則指紋庫(kù)集合中沒(méi)有記錄時(shí)標(biāo)記非http流量為未匹配的非http流量；流量過(guò)濾器將未匹配的非http流量發(fā)送給非http流量記錄器；

3）http流量自動(dòng)學(xué)習(xí)生成http流量規(guī)則指紋

①流量類(lèi)型判斷模塊接收未匹配的http流量并解析未匹配的http流量，當(dāng)未匹配的http流量中包含域名字符串，流量類(lèi)型判斷模塊將未匹配的http流量發(fā)送給域名和網(wǎng)頁(yè)title分析器；域名的自動(dòng)化判斷方法為：1.中文域名格式為： *.中國(guó)，*.公司，*.網(wǎng)絡(luò)，*必須含中文，.必須是英文輸入法下的點(diǎn)號(hào)；2.不超過(guò)20個(gè)字符，且只能包括字符、數(shù)字、和破折號(hào)，破折號(hào)不能在開(kāi)始和結(jié)尾，不能有兩個(gè)連續(xù)的破折號(hào)；3.英文域名以.cn結(jié)尾的純英文域名，格式為：*.cn，*必須是英文；

②流量類(lèi)型判斷模塊預(yù)設(shè)有app應(yīng)用商店的軟件包名錄和規(guī)則特征字符串池以及服務(wù)器IP地址集；app應(yīng)用商店的軟件包名錄來(lái)源于網(wǎng)絡(luò)采集；規(guī)則特征字符串池中的規(guī)則特征字符串來(lái)源于網(wǎng)絡(luò)監(jiān)管方已知網(wǎng)絡(luò)應(yīng)用流量的特征；服務(wù)器IP地址集來(lái)源于網(wǎng)絡(luò)監(jiān)管方已知的服務(wù)器IP地址；

③流量類(lèi)型判斷模塊接收未匹配的http流量并解析未匹配的http流量，當(dāng)未匹配的http流量中包含有app應(yīng)用商店的軟件包名并且app應(yīng)用商店的軟件包名在app應(yīng)用商店的軟件包名錄中有記錄時(shí)，流量類(lèi)型判斷模塊將未匹配的http流量發(fā)送給特征字符串匹配分析器；

④流量類(lèi)型判斷模塊接收未匹配的http流量并解析未匹配的http流量，當(dāng)未匹配的http流量中包含有規(guī)則特征字符串池中的規(guī)則特征字符串時(shí)，流量類(lèi)型判斷模塊將未匹配的http流量發(fā)送給特征字符串匹配分析器；

⑤ 流量類(lèi)型判斷模塊接收未匹配的http流量并解析未匹配的http流量，當(dāng)未匹配的http流量中包含服務(wù)器IP地址集中的IP地址時(shí)，流量類(lèi)型判斷模塊將未匹配的http流量發(fā)送給服務(wù)器IP地址分析器；

⑥域名和網(wǎng)頁(yè)title分析器通過(guò)瀏覽器模擬訪問(wèn)未匹配的http流量中的域名，提取網(wǎng)頁(yè)title記錄為模擬訪問(wèn)的流量對(duì)應(yīng)的協(xié)議名，域名和網(wǎng)頁(yè)title分析器調(diào)用正則域名表達(dá)式模板，生成http域名正則表達(dá)式，并將未匹配的http流量中的域名及對(duì)應(yīng)模擬訪問(wèn)記錄的協(xié)議名生成http域名正則表達(dá)式；域名和網(wǎng)頁(yè)title分析器將http域名正則表達(dá)式作為http流量規(guī)則指紋發(fā)送給流量規(guī)則指紋庫(kù)的http流量規(guī)則指紋集合存儲(chǔ)；

⑦特征字符串匹配分析器將未匹配的http流量的特征字符串對(duì)應(yīng)的協(xié)議名生成http的特征字符串正則表達(dá)式；特征字符串匹配分析器將未匹配的http流量的app應(yīng)用商店的軟件包名生成http的特征字符串正則表達(dá)式，app應(yīng)用商店的軟件包名當(dāng)作協(xié)議名處理；特征字符串匹配分析器將http的特征字符串正則表達(dá)式作為http流量規(guī)則指紋發(fā)送給流量規(guī)則指紋庫(kù)的http流量規(guī)則指紋集合存儲(chǔ)；

⑧服務(wù)器ip地址分析器使用未匹配的http流量包含的服務(wù)器ip地址，在應(yīng)用服務(wù)器ip地址與應(yīng)用協(xié)議名映射表中查詢(xún)對(duì)應(yīng)的協(xié)議名，當(dāng)未匹配的http流量包含的服務(wù)器ip地址在應(yīng)用服務(wù)器ip地址與應(yīng)用協(xié)議名映射表中有記錄時(shí)，將未匹配的http流量包含的服務(wù)器ip地址和對(duì)應(yīng)的協(xié)議名生成http服務(wù)器ip地址規(guī)則表達(dá)式，服務(wù)器ip地址分析器將http服務(wù)器ip地址規(guī)則表達(dá)式作為http流量規(guī)則指紋發(fā)送給流量規(guī)則指紋庫(kù)的http流量規(guī)則指紋集合存儲(chǔ)；當(dāng)未匹配的http流量包含的服務(wù)器ip地址在應(yīng)用服務(wù)器ip地址與應(yīng)用協(xié)議名映射表中沒(méi)有記錄時(shí)，通過(guò)瀏覽器模擬器撥測(cè)未匹配的http流量包含的服務(wù)器ip地址，記錄返回流量的協(xié)議名，將未匹配的http流量包含的服務(wù)器ip地址與返回流量的協(xié)議名對(duì)應(yīng)記錄到應(yīng)用服務(wù)器ip地址與應(yīng)用協(xié)議名映射表中，并將未匹配的http流量包含的服務(wù)器ip地址與返回流量的協(xié)議名生成http服務(wù)器ip地址規(guī)則表達(dá)式，服務(wù)器ip地址分析器將http服務(wù)器ip地址規(guī)則表達(dá)式作為http流量規(guī)則指紋發(fā)送給流量規(guī)則指紋庫(kù)的http流量規(guī)則指紋集合存儲(chǔ)；

4）非http流量特征轉(zhuǎn)換生成流量規(guī)則指紋

①非http流量記錄器接收未匹配的非http流量并解析出IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容；

②非非http流量記錄器將未匹配的非http流量并解析出IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容發(fā)送給16進(jìn)制特征轉(zhuǎn)換器；16進(jìn)制特征轉(zhuǎn)換器將未匹配的非http流量解析出的IP、端口、報(bào)文長(zhǎng)度、協(xié)議類(lèi)型、內(nèi)容轉(zhuǎn)換成非http流量特征指紋；

③16進(jìn)制特征轉(zhuǎn)換器將非http流量特征指紋傳送給非http流量規(guī)則指紋集合存儲(chǔ)。