[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的流量分類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011011910.1
• 申請日: 2020-09-24
• 公開（公告）號: CN111865815B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 祝旭峰;束妮娜;王懷習(xí);李旺宗;馬祖發(fā);王晨;黃郡;吳一塵
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/851;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國和平利用軍工技術(shù)協(xié)會(huì)專利中心 11215
• 代理人: 劉光德

本發(fā)明提出了一種基于聯(lián)邦學(xué)習(xí)的流量分類方法及系統(tǒng)，所述系統(tǒng)由流量采集標(biāo)記模塊、特征提取處理模塊、聯(lián)邦深度分類器組成，基于深度學(xué)習(xí)的方法和聯(lián)邦學(xué)習(xí)的框架，在多個(gè)客戶端本地搜集流量，并基于本地端口和應(yīng)用的映射關(guān)系對流量進(jìn)行標(biāo)記，使用卷積神經(jīng)網(wǎng)絡(luò)作為分類器進(jìn)行訓(xùn)練以獲得梯度，服務(wù)器對收到的所有用戶的梯度數(shù)據(jù)進(jìn)行聚合，得到聯(lián)合CNN模型參數(shù)，客戶端根據(jù)加密梯度更新各自的模型，經(jīng)過多個(gè)回合迭代，確定最終的CNN模型。本發(fā)明的技術(shù)方案標(biāo)記速度快，準(zhǔn)確率高，并且由于基于聯(lián)邦學(xué)習(xí)的訓(xùn)練模式只在客戶端本地進(jìn)行訓(xùn)練，而不上傳網(wǎng)絡(luò)流量數(shù)據(jù)集，有效避免了對用戶隱私的侵犯。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)和人工智能技術(shù)領(lǐng)域，尤其涉及一種基于聯(lián)邦學(xué)習(xí)的流量分類方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)流量的爆炸增長與有限的網(wǎng)絡(luò)帶寬的矛盾日益突出。流量分類是高性能網(wǎng)絡(luò)協(xié)議和應(yīng)用設(shè)計(jì)的基礎(chǔ)，是網(wǎng)絡(luò)運(yùn)營管理、網(wǎng)絡(luò)流量調(diào)度和網(wǎng)絡(luò)發(fā)展規(guī)劃的前提，也是提升網(wǎng)絡(luò)管理水平、改善服務(wù)質(zhì)量（QoS）的基礎(chǔ)，它可以通過對不同流量進(jìn)行優(yōu)先級排序幫助互聯(lián)網(wǎng)服務(wù)提供商(ISP)向其服務(wù)用戶提供不同標(biāo)準(zhǔn)的QoS服務(wù)。流量分類技術(shù)主要分為三類。第一種是基于端口號進(jìn)行流量分類。然而，隨著動(dòng)態(tài)端口、端口混淆、NAT等技術(shù)的發(fā)展，它的準(zhǔn)確性越發(fā)降低。第二種是基于有效負(fù)載檢測(DPI)進(jìn)行流量分類，通過在數(shù)據(jù)包中查找模式或關(guān)鍵字確定流量類型。當(dāng)今互聯(lián)網(wǎng)的加密通信量急劇攀升，而加密數(shù)據(jù)的偽隨機(jī)格式幾乎不包含任何識別網(wǎng)絡(luò)流量的關(guān)鍵字特征，因此基于有效載荷的分類方法也面臨著失效的風(fēng)險(xiǎn)。第三種方法是基于流量統(tǒng)計(jì)的分類方法。這些方法通過統(tǒng)計(jì)行為模式、會(huì)話窗口大小、時(shí)間序列等屬性或使用數(shù)據(jù)包包頭作為特征，并運(yùn)用經(jīng)典機(jī)器學(xué)習(xí)算法達(dá)到區(qū)分流量類型的功能。由于與有效載荷無關(guān)，它們能夠處理加密和未加密的流量，因此基于流量統(tǒng)計(jì)的分類方法被認(rèn)為是最合適的解決方案，但這一方法依賴于手工獲得的特征，存在以下幾種局限性。一是存在侵犯用戶隱私的法律風(fēng)險(xiǎn)。隨著如歐盟的一般數(shù)據(jù)保護(hù)條例(GDPR)等隱私保護(hù)法律的健全，傳統(tǒng)機(jī)器學(xué)習(xí)模型構(gòu)建過程中需要收集大規(guī)模流量數(shù)據(jù)，數(shù)據(jù)的獲取和處理面臨著侵犯用戶隱私的法律風(fēng)險(xiǎn)；二是流量數(shù)據(jù)標(biāo)記困難，對于網(wǎng)絡(luò)流量的分類標(biāo)記，通常采取兩種方式，一種是在完全可控的電腦上運(yùn)行相應(yīng)應(yīng)用以捕獲并標(biāo)記流量，另一種則是基于端口和DPI對未標(biāo)記的流量進(jìn)行標(biāo)記，但由于如加密技術(shù)、端口混淆、NAT等技術(shù)的廣泛應(yīng)用，導(dǎo)致端口識別方法和深度包檢測（dpi）等的準(zhǔn)確率越發(fā)降低，影響了數(shù)據(jù)標(biāo)記的質(zhì)量；三是不斷新增和演變的網(wǎng)絡(luò)流量對流量分類器的兼容性和魯棒性提出較高要求。可見，傳統(tǒng)流量分類模型在每次更新都需重新進(jìn)行繁瑣的數(shù)據(jù)采集、處理和訓(xùn)練過程，程序復(fù)雜，難以實(shí)現(xiàn)自動(dòng)化快速迭代，無法適應(yīng)網(wǎng)絡(luò)環(huán)境。

發(fā)明內(nèi)容

為克服上述網(wǎng)絡(luò)流量分類中存在的問題，本發(fā)明提出了一種基于聯(lián)邦學(xué)習(xí)的流量分類方法及系統(tǒng)，采用的聯(lián)邦分類模型在多個(gè)客戶端本地搜集流量并基于本地端口映射對流量進(jìn)行標(biāo)記，基于聯(lián)邦學(xué)習(xí)的方式在不交換數(shù)據(jù)的情況下共同訓(xùn)練得到流量分類器，其主要?jiǎng)?chuàng)新點(diǎn)有：

1. 在流量采集方面，在多個(gè)客戶端本地搜集流量并基于本地端口-應(yīng)用的映射關(guān)系對流量進(jìn)行標(biāo)記，通過聯(lián)邦學(xué)習(xí)避免了侵犯用戶隱私的風(fēng)險(xiǎn)，具有標(biāo)記速度快，準(zhǔn)確率高，數(shù)據(jù)規(guī)模不受限制，無需人工專家輔助標(biāo)記等優(yōu)點(diǎn)。

2. 在數(shù)據(jù)處理方面，模型采用以會(huì)話的前16個(gè)數(shù)據(jù)包的包頭作為輸入特征，并對源、目的MAC地址、IP地址、端口號及相關(guān)字段進(jìn)行屏蔽，確保了模型的分類不會(huì)基于ip等字段。通過深度學(xué)習(xí)進(jìn)行訓(xùn)練分類，確保了模型的可擴(kuò)展性，實(shí)驗(yàn)證明模型在面對新型流量和流量變種時(shí)的擴(kuò)展性較強(qiáng)。

3. 在模型訓(xùn)練方面，模型基于聯(lián)邦學(xué)習(xí)的模式進(jìn)行訓(xùn)練，即只在客戶端本地進(jìn)行訓(xùn)練而不上傳網(wǎng)絡(luò)流量數(shù)據(jù)集。這種方法有效的保護(hù)了用戶隱私，可實(shí)現(xiàn)模型的快速迭代。

具體地，本發(fā)明提出了一種基于聯(lián)邦學(xué)習(xí)的流量分類系統(tǒng)，通過傳遞梯度信息實(shí)現(xiàn)分類模型，其特征在于，由流量采集標(biāo)記模塊、特征提取處理模塊、聯(lián)邦深度分類器組成，