[發(fā)明專(zhuān)利]一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910660771.6
• 申請(qǐng)日: 2019-07-22
• 公開(kāi)（公告）號(hào): CN110519228B
• 公開(kāi)（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 石俊崢;劉夢(mèng)嚴(yán);郭煜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院信息工程研究所
• 主分類(lèi)號(hào): H04L29/06
• 分類(lèi)號(hào): H04L29/06;G06N20/10
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 陳艷

1.一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法，包括以下步驟：

(1)在服務(wù)器端實(shí)時(shí)收集客戶(hù)端發(fā)來(lái)的待測(cè)流量；

(2)將待測(cè)流量按照客戶(hù)端IP-時(shí)間段進(jìn)行匯聚，每個(gè)客戶(hù)端在一定時(shí)間段內(nèi)的流集合作為一個(gè)樣本，并進(jìn)一步提取樣本中與惡意云機(jī)器人識(shí)別模型相對(duì)應(yīng)的特征向量，其中，所述流集合指具有相同五元組的包序列：{源IP，目的IP，源端口，目的端口，TCP}，所述特征向量依據(jù)多層流量統(tǒng)計(jì)特征得到，所述多層流量統(tǒng)計(jì)特征包括基本特征、操作系統(tǒng)指紋特征、TTL相關(guān)特征、端口相關(guān)特征和應(yīng)用層統(tǒng)計(jì)特征，所述基本特征包括對(duì)端節(jié)點(diǎn)的數(shù)量、數(shù)據(jù)包總數(shù)、總字節(jié)數(shù)、流的數(shù)量、每個(gè)流的包數(shù)的統(tǒng)計(jì)值、每個(gè)流的總字節(jié)數(shù)的統(tǒng)計(jì)值及每個(gè)流的持續(xù)時(shí)間的統(tǒng)計(jì)值，所述操作系統(tǒng)指紋特征包括TCP最大分段大小、TCP窗口大小，TCP窗口比例及No-option選項(xiàng)的頻數(shù)統(tǒng)計(jì)，所述TTL相關(guān)特征包括TTL值統(tǒng)計(jì)和跳數(shù)統(tǒng)計(jì)，所述端口相關(guān)特征包括至少一個(gè)客戶(hù)端端口集合，所述應(yīng)用層統(tǒng)計(jì)特征包括每一樣本的HTTP請(qǐng)求中方法類(lèi)型統(tǒng)計(jì)、HTTP頭部不同host的數(shù)量及不同host在HTTP請(qǐng)求中相應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)、HTTP頭部不同URL字段值的數(shù)量及不同URL字段值在HTTP請(qǐng)求中相應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)、SSL/TLS頭部不同sni字段值的數(shù)量和SSL/TLS頭部不同sni字段值對(duì)應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)；

(3)將上述待測(cè)流量的特征向量作為輸入，通過(guò)惡意云機(jī)器人識(shí)別模型進(jìn)行識(shí)別；

其中，所述惡意云機(jī)器人識(shí)別模型通過(guò)下述方法構(gòu)建：

在服務(wù)器端實(shí)時(shí)收集客戶(hù)端發(fā)來(lái)的流量，存儲(chǔ)并提取樣本，使用惡意云機(jī)器人數(shù)據(jù)庫(kù)對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，若初始樣本的客戶(hù)端IP包含在該數(shù)據(jù)庫(kù)中，則將該初始樣本標(biāo)注為惡意云機(jī)器人樣本；反之，則標(biāo)注為人類(lèi)用戶(hù)樣本；

對(duì)樣本流量數(shù)據(jù)進(jìn)行多層流量統(tǒng)計(jì)特征的提取，得到特征向量；

基于機(jī)器學(xué)習(xí)方法，利用特征向量訓(xùn)練多種分類(lèi)器，選取具有最優(yōu)效果的分類(lèi)器，得到惡意云機(jī)器人識(shí)別模型。

2.如權(quán)利要求1所述的一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法，其特征在于，所述一定時(shí)間段為1小時(shí)。

3.如權(quán)利要求1所述的一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法，其特征在于，所述惡意云機(jī)器人數(shù)據(jù)庫(kù)為互聯(lián)網(wǎng)數(shù)據(jù)中心IP數(shù)據(jù)庫(kù)。

4.如權(quán)利要求1所述的一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法，其特征在于，所述惡意云機(jī)器人識(shí)別模型構(gòu)建過(guò)程具體為：

(1)選擇分類(lèi)算法并設(shè)置分類(lèi)算法的參數(shù)；

(2)將提取的特征向量數(shù)據(jù)集分為訓(xùn)練集與驗(yàn)證集，利用訓(xùn)練集訓(xùn)練惡意云機(jī)器人識(shí)別模型，利用驗(yàn)證集評(píng)估惡意云機(jī)器人識(shí)別模型分類(lèi)效果；

(3)根據(jù)樣本數(shù)據(jù)標(biāo)注，計(jì)算惡意云機(jī)器人識(shí)別模型中分類(lèi)器的準(zhǔn)確率和召回率，若準(zhǔn)確率和召回率不低于預(yù)設(shè)閾值，則當(dāng)下的分類(lèi)器為最優(yōu)分類(lèi)器；否則，返回步驟(1)，更換算法和參數(shù)，重新訓(xùn)練惡意云機(jī)器人識(shí)別模型中分類(lèi)器，直至滿(mǎn)足預(yù)設(shè)閾值，得到最優(yōu)分類(lèi)器；

(4)根據(jù)步驟(3)中得到的最優(yōu)分類(lèi)器在真實(shí)環(huán)境中的表現(xiàn)，對(duì)該最優(yōu)分類(lèi)器的參數(shù)進(jìn)行迭代調(diào)整，得到惡意云機(jī)器人識(shí)別模型。

5.如權(quán)利要求4所述的一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別方法，其特征在于，所述分類(lèi)算法包括：樸素貝葉斯、邏輯回歸、支持向量機(jī)、決策樹(shù)和隨機(jī)森林。

6.一種黑產(chǎn)場(chǎng)景下惡意云機(jī)器人的識(shí)別系統(tǒng)，包括：

樣本提取與標(biāo)注模塊：在服務(wù)器端實(shí)時(shí)收集客戶(hù)端發(fā)來(lái)的原始流量，存儲(chǔ)并提取樣本，使用數(shù)據(jù)庫(kù)對(duì)流量樣本數(shù)據(jù)進(jìn)行標(biāo)注，若初始樣本的客戶(hù)端IP包含在該數(shù)據(jù)庫(kù)中，則將該初始樣本標(biāo)注為惡意云機(jī)器人樣本；反之，則標(biāo)注為人類(lèi)用戶(hù)樣本；

特征向量提取模塊：對(duì)流量樣本數(shù)據(jù)進(jìn)行多層流量統(tǒng)計(jì)特征的提取，得到特征向量；

分類(lèi)器訓(xùn)練模塊：基于機(jī)器學(xué)習(xí)方法，利用特征向量訓(xùn)練多種分類(lèi)器，選取具有最優(yōu)效果的分類(lèi)器，得到惡意云機(jī)器人識(shí)別模型；

惡意云機(jī)器人識(shí)別模塊：收集待測(cè)流量，進(jìn)行樣本提取和特征向量提取，利用上述具有最優(yōu)效果的分類(lèi)器進(jìn)行惡意云機(jī)器人的識(shí)別；

其中，提取樣本的方法為：將待測(cè)流量按照客戶(hù)端IP-時(shí)間段進(jìn)行匯聚，每個(gè)客戶(hù)端在一定時(shí)間段內(nèi)的流集合作為一個(gè)樣本，所述流集合指具有相同五元組的包序列：{源IP，目的IP，源端口，目的端口，TCP}；

所述多層流量統(tǒng)計(jì)特征包括基本特征、操作系統(tǒng)指紋特征、TTL相關(guān)特征、端口相關(guān)特征和應(yīng)用層統(tǒng)計(jì)特征，所述基本特征包括對(duì)端節(jié)點(diǎn)的數(shù)量、數(shù)據(jù)包總數(shù)、總字節(jié)數(shù)、流的數(shù)量、每個(gè)流的包數(shù)的統(tǒng)計(jì)值、每個(gè)流的總字節(jié)數(shù)的統(tǒng)計(jì)值及每個(gè)流的持續(xù)時(shí)間的統(tǒng)計(jì)值，所述操作系統(tǒng)指紋特征包括TCP最大分段大小、TCP窗口大小，TCP窗口比例及No-option選項(xiàng)的頻數(shù)統(tǒng)計(jì)，所述TTL相關(guān)特征包括TTL值統(tǒng)計(jì)和跳數(shù)統(tǒng)計(jì)，所述端口相關(guān)特征包括至少一個(gè)客戶(hù)端端口集合，所述應(yīng)用層統(tǒng)計(jì)特征包括每一樣本的HTTP請(qǐng)求中方法類(lèi)型統(tǒng)計(jì)、HTTP頭部不同host的數(shù)量及不同host在HTTP請(qǐng)求中相應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)、HTTP頭部不同URL字段值的數(shù)量及不同URL字段值在HTTP請(qǐng)求中相應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)、SSL/TLS頭部不同sni字段值的數(shù)量和SSL/TLS頭部不同sni字段值對(duì)應(yīng)的數(shù)據(jù)包與字節(jié)數(shù)。