[發(fā)明專利]一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011526966.0
• 申請(qǐng)日: 2020-12-22
• 公開（公告）號(hào): CN112671757A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 陸菲菲;張魯飛;濮小川;吳東;孫茹君;王宇;李祥;錢磊;張昆;陳皖蘇
• 申請(qǐng)（專利權(quán)）人: 無錫江南計(jì)算技術(shù)研究所
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L12/24;H04L12/26;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 王健

1.一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別裝置，其特征在于，包括基礎(chǔ)環(huán)境層、AI支撐環(huán)境層和自適應(yīng)協(xié)議識(shí)別層；

所述基礎(chǔ)環(huán)境層包括用于組成系統(tǒng)的基礎(chǔ)軟硬件和各種數(shù)據(jù)資源；

所述AI支撐環(huán)境層用于調(diào)度基礎(chǔ)環(huán)境層的軟硬件資源，為自適應(yīng)協(xié)議識(shí)別層提供支撐，同時(shí)對(duì)資源使用的情況、生成的算法模型結(jié)果進(jìn)行記錄，為后續(xù)的溯源評(píng)價(jià)提供基礎(chǔ)，具體包括各種人工智能框架、算法庫(kù)及模型管理模塊；

所述自適應(yīng)協(xié)議識(shí)別層用于提供基于自動(dòng)機(jī)器學(xué)習(xí)方法的加密流量協(xié)議識(shí)別服務(wù)，包括數(shù)據(jù)預(yù)處理模塊、特征工程模塊和協(xié)議識(shí)別模塊；

所述數(shù)據(jù)預(yù)處理模塊，用于對(duì)加密流量進(jìn)行采集、清洗、時(shí)間戳提取，利用數(shù)據(jù)包交互的特征切分網(wǎng)絡(luò)流量，并將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集兩部分；

所述特征工程模塊，用于在會(huì)話切分的基礎(chǔ)上，對(duì)原始加密流量數(shù)據(jù)進(jìn)行初步特征提取與標(biāo)注，為基于機(jī)器學(xué)習(xí)的分類提供特征數(shù)據(jù)集；

所述協(xié)議識(shí)別模塊，包括自動(dòng)機(jī)器學(xué)習(xí)子模塊和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索子模塊，其中，自動(dòng)機(jī)器學(xué)習(xí)子模塊采用自動(dòng)機(jī)器學(xué)習(xí)算法對(duì)加密流量分類，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索子模塊用于自動(dòng)構(gòu)建適合加密流量分類任務(wù)的神經(jīng)網(wǎng)絡(luò)模型對(duì)加密流量分類。

2. 根據(jù)權(quán)利要求1所述的一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別裝置，其特征在于：還包括WEB UI層，用于提供用戶友好的系統(tǒng)使用界面。

3.根據(jù)權(quán)利要求1所述的一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別裝置，其特征在于：所述基礎(chǔ)環(huán)境層中的硬件包含CPU/GPU計(jì)算資源、存儲(chǔ)有訓(xùn)練數(shù)據(jù)與模型的HDFS集群以及萬(wàn)兆以太網(wǎng)絡(luò)環(huán)境，所述基礎(chǔ)環(huán)境層中的軟件包含Linux操作系統(tǒng)軟件和虛擬化平臺(tái)。

4.根據(jù)權(quán)利要求1所述的一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別裝置，其特征在于：所述AI支撐環(huán)境層包括支撐人工智能應(yīng)用程序所需要的各種軟件資源，主要包括機(jī)器學(xué)習(xí)框架Sklearn、AutoML框架、機(jī)器學(xué)習(xí)算法庫(kù)、深度神經(jīng)網(wǎng)絡(luò)模型庫(kù)。

5.一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別方法，其特征在于，包括以下步驟：

步驟1：數(shù)據(jù)預(yù)處理模塊對(duì)pcap格式的加密流量進(jìn)行數(shù)據(jù)預(yù)處理，數(shù)據(jù)預(yù)處理包括以下步驟：

步驟1.1：利用流量檢測(cè)和清洗工具對(duì)所述的加密流量數(shù)據(jù)進(jìn)行處理，刪除異常流量數(shù)據(jù)和缺失數(shù)據(jù)；

步驟1.2：提取并保存加密流量的時(shí)間戳信息；

步驟1.3：根據(jù)時(shí)間戳將加密流量按照會(huì)話的粒度進(jìn)行切分，使得同一個(gè)會(huì)話具有相同的五元組（源IP、目的IP、源端口、目的端口、傳輸層協(xié)議）信息，將單個(gè)會(huì)話中的數(shù)據(jù)包按照其到達(dá)的時(shí)間先后順序組合為一個(gè)流量樣本；

步驟1.4：將每個(gè)流量樣本進(jìn)行匿名化處理；

步驟2：將數(shù)據(jù)預(yù)處理后的流量樣本送入特征工程模塊，從每個(gè)流量樣本的統(tǒng)計(jì)信息中提取特征向量構(gòu)建訓(xùn)練數(shù)據(jù)集；

17個(gè)流特征向量包括：發(fā)送端包數(shù)量、接收端包數(shù)量、總包數(shù)量、發(fā)送端包長(zhǎng)期望、接收端包長(zhǎng)期望、發(fā)送端平均包個(gè)數(shù)/秒、接收端平均包個(gè)數(shù)/秒、發(fā)送端包長(zhǎng)方差、接收端包長(zhǎng)方差、發(fā)送端總字節(jié)數(shù)、接收端總字節(jié)數(shù)、下載上傳比率、會(huì)話時(shí)長(zhǎng)、會(huì)話時(shí)間的最大、最小期望和方差；

步驟3：利用協(xié)議識(shí)別模塊提供的自動(dòng)機(jī)器學(xué)習(xí)方法識(shí)別加密流量協(xié)議，具體包括以下步驟：

步驟3.1：將經(jīng)過步驟1處理后的加密流量送入神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索子模塊，該模塊通過設(shè)計(jì)適應(yīng)加密流量分類的算子庫(kù)，基于算子庫(kù)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)搜索，自動(dòng)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)分類模型并自動(dòng)優(yōu)化超參數(shù)，生成優(yōu)于或與人工設(shè)計(jì)的網(wǎng)絡(luò)性能相當(dāng)?shù)姆诸惸Ｐ停?/p>

步驟3.2：將步驟2 中提取的特征向量送入自動(dòng)機(jī)器學(xué)習(xí)子模塊，該模塊屬于傳統(tǒng)機(jī)器學(xué)習(xí)模型的自動(dòng)化學(xué)習(xí)，采用Auto-sklearn框架自動(dòng)選擇最優(yōu)的機(jī)器學(xué)習(xí)算法與模型并自動(dòng)優(yōu)化超參數(shù)，生成優(yōu)于或與人工設(shè)計(jì)的網(wǎng)絡(luò)性能相當(dāng)?shù)姆诸惸Ｐ停?/p>

步驟4：協(xié)議識(shí)別模塊輸出分類結(jié)果，并保存訓(xùn)練好的模型與參數(shù)供后續(xù)分析與識(shí)別任務(wù)使用。

6.根據(jù)權(quán)利要求5所述的一種基于自動(dòng)機(jī)器學(xué)習(xí)的加密流量協(xié)議識(shí)別方法，其特征在于：步驟1.4中，通過丟棄數(shù)據(jù)鏈路層信息以及IP地址信息，對(duì)每個(gè)流量樣本進(jìn)行匿名化處理。