[發(fā)明專(zhuān)利]用于DPI數(shù)據(jù)的處理方法和處理系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911305426.7
• 申請(qǐng)日: 2019-12-18
• 公開(kāi)（公告）號(hào): CN113010500A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 安翔宇;閆健儒;馬奕凡;朱晨曦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06N3/04;G06N3/08
• 代理公司: 中國(guó)貿(mào)促會(huì)專(zhuān)利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 李浩

本公開(kāi)提供了一種用于DPI數(shù)據(jù)的處理方法和處理系統(tǒng)，涉及數(shù)據(jù)處理領(lǐng)域。該處理方法包括：檢測(cè)得到缺失DPI數(shù)據(jù)的第一時(shí)間段；獲取與第一時(shí)間段相鄰的第二時(shí)間段的DPI數(shù)據(jù)；將第二時(shí)間段的DPI數(shù)據(jù)輸入到DPI數(shù)據(jù)補(bǔ)全模型單元；以及DPI數(shù)據(jù)補(bǔ)全模型單元基于第二時(shí)間段的DPI數(shù)據(jù)生成第一時(shí)間段的缺失的DPI數(shù)據(jù)。本公開(kāi)實(shí)現(xiàn)了對(duì)缺失的DPI數(shù)據(jù)的補(bǔ)全，減少用戶(hù)使用數(shù)據(jù)時(shí)所受到的數(shù)據(jù)缺失的影響。

技術(shù)領(lǐng)域

本公開(kāi)涉及數(shù)據(jù)處理領(lǐng)域，特別涉及一種用于DPI數(shù)據(jù)的處理方法和處理系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)技術(shù)的蓬勃發(fā)展，目前各大互聯(lián)網(wǎng)公司已經(jīng)擁有PB(petabyte，拍字節(jié))級(jí)數(shù)據(jù)存量，百TB(terabyte，太字節(jié))級(jí)數(shù)據(jù)日增量。數(shù)據(jù)作為數(shù)據(jù)服務(wù)產(chǎn)品的原材料，是各大公司的重要資產(chǎn)。因此，保障數(shù)據(jù)穩(wěn)定性及可用性是數(shù)據(jù)運(yùn)營(yíng)的一項(xiàng)核心工作。DPI(Deep Packet Inspection，深度包檢測(cè))數(shù)據(jù)是量級(jí)非常大的一種數(shù)據(jù)。在進(jìn)行數(shù)據(jù)傳輸?shù)倪^(guò)程中，可能會(huì)由于網(wǎng)絡(luò)波動(dòng)、資源負(fù)載或源數(shù)據(jù)異常等不可控因素，導(dǎo)致DPI數(shù)據(jù)缺失的問(wèn)題，為后續(xù)使用帶來(lái)難度。

發(fā)明內(nèi)容

本公開(kāi)解決的一個(gè)技術(shù)問(wèn)題是：提供一種用于DPI數(shù)據(jù)的處理方法，以對(duì)缺失的DPI數(shù)據(jù)實(shí)現(xiàn)補(bǔ)全。

根據(jù)本公開(kāi)的一個(gè)方面，提供了一種用于深度包檢測(cè)DPI數(shù)據(jù)的處理方法，包括：檢測(cè)得到缺失DPI數(shù)據(jù)的第一時(shí)間段；獲取與所述第一時(shí)間段相鄰的第二時(shí)間段的DPI數(shù)據(jù)；將所述第二時(shí)間段的DPI數(shù)據(jù)輸入到DPI數(shù)據(jù)補(bǔ)全模型單元；以及所述DPI數(shù)據(jù)補(bǔ)全模型單元基于所述第二時(shí)間段的DPI數(shù)據(jù)生成所述第一時(shí)間段的缺失的DPI數(shù)據(jù)。

在一些實(shí)施例中，在檢測(cè)得到缺失DPI數(shù)據(jù)的第一時(shí)間段之前，所述處理方法還包括：獲取樣本時(shí)間段的樣本DPI數(shù)據(jù)；以及將所述樣本DPI數(shù)據(jù)輸入到所述DPI數(shù)據(jù)補(bǔ)全模型單元以對(duì)所述DPI數(shù)據(jù)補(bǔ)全模型單元進(jìn)行訓(xùn)練。

在一些實(shí)施例中，對(duì)所述DPI數(shù)據(jù)補(bǔ)全模型單元進(jìn)行訓(xùn)練的步驟包括：對(duì)所述樣本DPI數(shù)據(jù)進(jìn)行預(yù)處理，并將經(jīng)過(guò)所述預(yù)處理后的樣本DPI數(shù)據(jù)依次輸入到卷積層、修正線性單元層、池化層和全連接層進(jìn)行處理，以得到所述樣本DPI數(shù)據(jù)的特征數(shù)據(jù)；將所述樣本DPI數(shù)據(jù)的特征數(shù)據(jù)輸入到生成式對(duì)抗網(wǎng)絡(luò)GAN的判別器中；將隨機(jī)值輸入到所述GAN的生成器中；所述生成器對(duì)所述隨機(jī)值進(jìn)行計(jì)算以生成隨機(jī)特征數(shù)據(jù)，將所述隨機(jī)特征數(shù)據(jù)輸入到所述判別器中；以及所述判別器對(duì)所述樣本DPI數(shù)據(jù)的特征數(shù)據(jù)和所述隨機(jī)特征數(shù)據(jù)進(jìn)行對(duì)比并判定以獲得判定結(jié)果；當(dāng)所述判定結(jié)果沒(méi)有在預(yù)定范圍內(nèi)時(shí)，所述判別器確定當(dāng)前的DPI數(shù)據(jù)補(bǔ)全模型單元沒(méi)有達(dá)到最優(yōu)狀態(tài)，并將所述判定結(jié)果返回給所述生成器，使得所述生成器生成下一個(gè)隨機(jī)特征數(shù)據(jù)；當(dāng)所述判定結(jié)果在所述預(yù)定范圍內(nèi)時(shí)，所述判別器確定當(dāng)前的DPI數(shù)據(jù)補(bǔ)全模型單元達(dá)到最優(yōu)狀態(tài)。

在一些實(shí)施例中，所述預(yù)定范圍為0.45至0.55。

在一些實(shí)施例中，所述生成器生成隨機(jī)特征數(shù)據(jù)的步驟包括：所述生成器基于所述隨機(jī)值生成初始時(shí)間段的數(shù)據(jù)序列，并以預(yù)設(shè)時(shí)間段作為遞增時(shí)間段，相應(yīng)地逐漸增加所述數(shù)據(jù)序列，直到增加到具有與所述樣本時(shí)間段的長(zhǎng)度相等的時(shí)間段的數(shù)據(jù)序列，即為所述隨機(jī)特征數(shù)據(jù)，并利用遺忘門(mén)獲取隨機(jī)特征數(shù)據(jù)的時(shí)間信息。

在一些實(shí)施例中，所述預(yù)處理包括：去除缺失值處理、降維處理、歸一化處理和向量編碼處理中的至少一個(gè)。

根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種用于DPI數(shù)據(jù)的處理系統(tǒng)，包括：獲取單元，用于檢測(cè)得到缺失DPI數(shù)據(jù)的第一時(shí)間段，獲取與所述第一時(shí)間段相鄰的第二時(shí)間段的DPI數(shù)據(jù)，并將所述第二時(shí)間段的DPI數(shù)據(jù)輸入到DPI數(shù)據(jù)補(bǔ)全模型單元；以及所述DPI數(shù)據(jù)補(bǔ)全模型單元，用于基于所述第二時(shí)間段的DPI數(shù)據(jù)生成所述第一時(shí)間段的缺失的DPI數(shù)據(jù)。

在一些實(shí)施例中，所述獲取單元還用于獲取樣本時(shí)間段的樣本DPI數(shù)據(jù)，并將所述樣本DPI數(shù)據(jù)輸入到所述DPI數(shù)據(jù)補(bǔ)全模型單元；所述DPI數(shù)據(jù)補(bǔ)全模型單元還用于基于樣本DPI數(shù)據(jù)進(jìn)行訓(xùn)練。