[發(fā)明專(zhuān)利]利用聯(lián)邦學(xué)習(xí)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的業(yè)務(wù)類(lèi)型識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110949103.2
• 申請(qǐng)日: 2021-08-18
• 公開(kāi)（公告）號(hào): CN113726561A
• 公開(kāi)（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 趙力強(qiáng);王佳妮;梁凱;王哲;朱曼華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): H04L12/24
• 分類(lèi)號(hào): H04L12/24;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 陜西電子工業(yè)專(zhuān)利中心 61205
• 代理人: 田文英;王品華

1.一種利用聯(lián)邦學(xué)習(xí)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的業(yè)務(wù)類(lèi)型識(shí)別方法，其特征在于，對(duì)構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，利用聯(lián)邦學(xué)習(xí)在云服務(wù)器和邊緣服務(wù)器中進(jìn)行訓(xùn)練；該方法的具體步驟包括如下：

步驟1，生成每個(gè)邊緣服務(wù)器的訓(xùn)練集：

(1a)每個(gè)邊緣服務(wù)器抓取其不少于1分鐘，業(yè)務(wù)類(lèi)型不少于3種，每種業(yè)務(wù)數(shù)據(jù)包總量不少于100000個(gè)的網(wǎng)絡(luò)數(shù)據(jù)流量組成該邊緣服務(wù)器的數(shù)據(jù)集；

(1b)對(duì)每個(gè)邊緣服務(wù)器的數(shù)據(jù)集中每種類(lèi)型業(yè)務(wù)的數(shù)據(jù)包進(jìn)行預(yù)處理，將生成該邊緣服務(wù)器同種類(lèi)型業(yè)務(wù)不少于3000張的帶有標(biāo)簽的圖像組成訓(xùn)練集；

步驟2，構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)：

(2a)搭建一個(gè)七層的卷積神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)依次為：輸入層，第一卷積層，第一池化層，第二卷積層，第二池化層，第一全連接層，第二全連接層；

(2b)將輸入層神經(jīng)元的個(gè)數(shù)設(shè)置為32×32，第一、第二卷積層的卷積核分別設(shè)置為5×5，3×3，卷積核個(gè)數(shù)均為64，滑動(dòng)步長(zhǎng)均為1，第一、第二池化層的池化窗口尺寸均為2×2，滑動(dòng)步長(zhǎng)均為2，激活函數(shù)均為ReLU，第一全連接層輸出神經(jīng)元的個(gè)數(shù)為64×64，激活函數(shù)為Sigmoid，第二全連接層輸出神經(jīng)元的個(gè)數(shù)與訓(xùn)練集中已知業(yè)務(wù)類(lèi)型數(shù)目相同，激活函數(shù)分別為Softmax；

步驟3，對(duì)卷積神經(jīng)網(wǎng)絡(luò)利用聯(lián)邦學(xué)習(xí)進(jìn)行協(xié)同訓(xùn)練：

(3a)云服務(wù)器向每個(gè)邊緣服務(wù)器下發(fā)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)；

(3b)將每個(gè)訓(xùn)練集輸入到其對(duì)應(yīng)的邊緣服務(wù)器中，使用Adam梯度優(yōu)化算法，計(jì)算每個(gè)邊緣服務(wù)器的卷積神經(jīng)網(wǎng)絡(luò)迭代更新5次后的梯度，并將迭代終止后的所有不同特征的卷積神經(jīng)網(wǎng)絡(luò)的梯度上傳到云服務(wù)器；

(3c)云服務(wù)器對(duì)其接收的所有具有不同特征的卷積神經(jīng)網(wǎng)絡(luò)的梯度取平均值，再將該平均值下發(fā)給每個(gè)邊緣服務(wù)器；

(3d)判斷每個(gè)邊緣服務(wù)器的用平均值更新該卷積神經(jīng)網(wǎng)絡(luò)參數(shù)后的交叉熵?fù)p失函數(shù)是否收斂；若是，則得到該邊緣服務(wù)器訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)后執(zhí)行步驟4，否則，執(zhí)行步驟(3b)；

步驟4，預(yù)測(cè)每個(gè)邊緣服務(wù)器的業(yè)務(wù)類(lèi)型：

(4a)對(duì)每個(gè)不少于3種業(yè)務(wù)的待預(yù)測(cè)邊緣服務(wù)器，采用與步驟(1b)相同的預(yù)處理方法，得到每個(gè)待預(yù)測(cè)邊緣服務(wù)器的帶有標(biāo)簽的至少500張圖像；

(4b)將每個(gè)待預(yù)測(cè)邊緣服務(wù)器的所有圖像輸入到該訓(xùn)練好的邊緣服務(wù)器的卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)待預(yù)測(cè)邊緣服務(wù)器的卷積神經(jīng)網(wǎng)絡(luò)輸出預(yù)測(cè)的業(yè)務(wù)識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的利用聯(lián)邦學(xué)習(xí)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的業(yè)務(wù)類(lèi)型識(shí)別方法，其特征在于，步驟(1b)中所述生成同種類(lèi)型業(yè)務(wù)不少于3000張的帶有標(biāo)簽的圖像具體步驟如下：

第一步，截?cái)?補(bǔ)零：提取數(shù)據(jù)集中每種業(yè)務(wù)的每個(gè)數(shù)據(jù)包的32個(gè)字節(jié)，若每個(gè)數(shù)據(jù)包中的字節(jié)數(shù)超過(guò)32字節(jié)時(shí)，隨機(jī)截取數(shù)據(jù)包中連續(xù)的32個(gè)字節(jié)，若數(shù)據(jù)包中字節(jié)數(shù)少于32時(shí)，在數(shù)據(jù)包的前后兩邊分別對(duì)稱(chēng)補(bǔ)零，直到數(shù)據(jù)包字節(jié)長(zhǎng)度達(dá)到32；

第二步，將同種類(lèi)型業(yè)務(wù)的數(shù)據(jù)包組成一個(gè)m×n的矩陣，其中m表示截?cái)嗷蜓a(bǔ)零后數(shù)據(jù)包的字節(jié)數(shù)，n表示同一類(lèi)型業(yè)務(wù)中選取的截?cái)嗷蜓a(bǔ)零后數(shù)據(jù)包的個(gè)數(shù)，設(shè)置為32；

第三步，將每個(gè)矩陣進(jìn)行歸一化處理后再轉(zhuǎn)換成圖像，生成同種類(lèi)型業(yè)務(wù)不少于3000張的圖像，對(duì)每張圖像按其所屬業(yè)務(wù)類(lèi)型打標(biāo)簽。