[發(fā)明專利]一種基于深度遷移學(xué)習(xí)的大數(shù)據(jù)平臺(tái)未知威脅檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911065689.5
• 申請(qǐng)日: 2019-11-04
• 公開（公告）號(hào): CN110995652B
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 孫治;周玉金;劉正軍;李春林;陳劍鋒;徐銳;饒志宏
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技網(wǎng)絡(luò)信息安全有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識(shí)產(chǎn)權(quán)代理有限公司 51214
• 代理人: 鄧世燕

本發(fā)明公開了一種基于深度遷移學(xué)習(xí)的大數(shù)據(jù)平臺(tái)未知威脅檢測(cè)方法，包括如下步驟：步驟一、構(gòu)建源領(lǐng)域樣本集；步驟二、采用與步驟一相同的方法采集目標(biāo)領(lǐng)域的樣本數(shù)據(jù)，然后采用數(shù)據(jù)增強(qiáng)的方法對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充，構(gòu)建目標(biāo)領(lǐng)域樣本集；步驟三、構(gòu)建基于深度遷移學(xué)習(xí)的威脅檢測(cè)模型。與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果是：1、通過目標(biāo)領(lǐng)域的數(shù)據(jù)增強(qiáng)，改善深度學(xué)習(xí)模型泛化能力不足的問題，進(jìn)而提升了深度學(xué)習(xí)模型的預(yù)測(cè)效果。2、通過針對(duì)互聯(lián)網(wǎng)海量威脅樣本的遷移學(xué)習(xí)，實(shí)現(xiàn)了在不降低已知威脅檢測(cè)率的前提下，有效檢測(cè)沒有出現(xiàn)過的未知威脅。3、通過融合特征的深度神經(jīng)網(wǎng)絡(luò)，融合了不同維度的行為特征，提升了模型的識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度遷移學(xué)習(xí)的大數(shù)據(jù)平臺(tái)未知威脅檢測(cè)方法。

背景技術(shù)

伴隨著互聯(lián)網(wǎng)技術(shù)、移動(dòng)通信技術(shù)的日益發(fā)展和普及，大數(shù)據(jù)平臺(tái)也面臨著網(wǎng)絡(luò)威脅和數(shù)據(jù)安全問題。大數(shù)據(jù)平臺(tái)與用戶之間的信息交換量大大提高，大數(shù)據(jù)平臺(tái)領(lǐng)域的數(shù)據(jù)安全和風(fēng)險(xiǎn)防范比傳統(tǒng)網(wǎng)絡(luò)更加復(fù)雜。特別是針對(duì)Hadoop等與移動(dòng)業(yè)務(wù)系統(tǒng)整合的大數(shù)據(jù)平臺(tái)，當(dāng)前往往缺乏安全保護(hù)手段，或者采用的安全防御不足，面臨數(shù)據(jù)竊取、數(shù)據(jù)完整、身份偽造等安全威脅且存在威脅樣本較少的問題。針對(duì)現(xiàn)有大數(shù)據(jù)平臺(tái)威脅檢測(cè)方法的不足，提出一種基于深度遷移學(xué)習(xí)的未知威脅檢測(cè)方法，采用深度遷移學(xué)習(xí)已有的知識(shí)來解決大數(shù)據(jù)平臺(tái)中僅有少量標(biāo)注樣本數(shù)據(jù)的學(xué)習(xí)問題。

現(xiàn)有發(fā)明中與遷移學(xué)習(xí)和威脅檢測(cè)有關(guān)的方法有：一種網(wǎng)絡(luò)威脅檢測(cè)系統(tǒng)及檢測(cè)方法(申請(qǐng)?zhí)枺篊N201610970197.0，申請(qǐng)日期：2016.10.28)，通過提取實(shí)時(shí)采集網(wǎng)絡(luò)流量數(shù)據(jù)的特征進(jìn)行威脅檢測(cè)，該方案可以識(shí)別基于流量的網(wǎng)絡(luò)威脅，但是由于只采集流量數(shù)據(jù)作為威脅特征，識(shí)別非流量特征的能力較差；一種威脅檢測(cè)方法及裝置(申請(qǐng)?zhí)枺篊N201710124581.3，申請(qǐng)日期：2017.03.03)，通過檢測(cè)傳輸控制協(xié)議TCP會(huì)話中的報(bào)文，有效的檢測(cè)反彈端口型木馬程序，但該方案只針對(duì)反彈端口型木馬威脅，不能解決大數(shù)據(jù)平臺(tái)面臨的其它安全威脅；高級(jí)威脅檢測(cè)方法及智能探針裝置和高級(jí)威脅檢測(cè)系統(tǒng)(申請(qǐng)?zhí)枺篊N201810695099.X，申請(qǐng)日期：2018.06.29)，通過智能探針檢測(cè)用戶設(shè)備中的資源占用信息和操作日志進(jìn)行威脅檢測(cè)，但由于沒有采集流量特征不能檢測(cè)惡意流量威脅；遷移學(xué)習(xí)方法及裝置(申請(qǐng)?zhí)枺篊N201510032970.4，申請(qǐng)日期：2015.01.22)，該發(fā)明僅是遷移學(xué)習(xí)的一種實(shí)現(xiàn)方法及裝置，并未涉及應(yīng)用領(lǐng)域特別是網(wǎng)絡(luò)安全，該方案提出的遷移學(xué)習(xí)方法也不適合本發(fā)明。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的上述缺點(diǎn)，本發(fā)明提供了一種基于深度遷移學(xué)習(xí)的大數(shù)據(jù)平臺(tái)未知威脅檢測(cè)方法，主要針對(duì)大數(shù)據(jù)平臺(tái)面臨的未知威脅提出解決方案，具體針對(duì)以下幾個(gè)方面的問題提出解決方案：

1)如何檢測(cè)針對(duì)大數(shù)據(jù)平臺(tái)的未知威脅，解決大數(shù)據(jù)平臺(tái)的威脅小樣本數(shù)據(jù)集的問題；

2)如何采集未知威脅的特征，解決威脅特征類別不足的問題；

3)如何提高未知威脅的識(shí)別率，解決多種威脅特征的融合問題以及融合特征的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于深度遷移學(xué)習(xí)的大數(shù)據(jù)平臺(tái)未知威脅檢測(cè)方法，包括如下步驟：

步驟一、構(gòu)建源領(lǐng)域樣本集：

在大數(shù)據(jù)平臺(tái)的各個(gè)節(jié)點(diǎn)上部署信息采集探針裝置，將不同的惡意軟件單獨(dú)放在沙箱中執(zhí)行一段時(shí)間后，采集不同維度的特征數(shù)據(jù)，并將特征數(shù)據(jù)進(jìn)行歸一化處理；

步驟二、采用與步驟一相同的方法采集目標(biāo)領(lǐng)域的樣本數(shù)據(jù)，然后采用數(shù)據(jù)增強(qiáng)的方法對(duì)樣本數(shù)據(jù)進(jìn)行擴(kuò)充，構(gòu)建目標(biāo)領(lǐng)域樣本集；

步驟三、構(gòu)建基于深度遷移學(xué)習(xí)的威脅檢測(cè)模型：

先使用源領(lǐng)域樣本集訓(xùn)練深度學(xué)習(xí)，然后用目標(biāo)領(lǐng)域樣本集對(duì)模型進(jìn)行再訓(xùn)練，得到基于融合特征的深度神經(jīng)網(wǎng)絡(luò)威脅檢測(cè)模型。