[發(fā)明專利]基于FPCC-GAN的構(gòu)建輕型圖像分類網(wǎng)絡(luò)的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110004474.3
• 申請日: 2021-01-04
• 公開（公告）號: CN112733925A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 張俊三;馮葉棋;邵明文;張世棟
• 申請（專利權(quán)）人: 國網(wǎng)山東省電力公司棗莊供電公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 孫園園;羅文曌

1.一種基于FPCC-GAN的構(gòu)建輕型圖像分類網(wǎng)絡(luò)的方法，其特征在于，該方法具體如下：

將數(shù)據(jù)集圖像隨機輸入預(yù)訓練好的分類網(wǎng)絡(luò)，得到包含準確語義信息的特征圖；

隨機初始化網(wǎng)絡(luò)參數(shù)：按正態(tài)分布隨機初始化待剪枝的分類網(wǎng)絡(luò)與對抗判別器中的參數(shù)，將數(shù)據(jù)集圖像輸入網(wǎng)絡(luò)模型；

訓練待剪枝的分類網(wǎng)絡(luò)與判別器的網(wǎng)絡(luò)參數(shù)，通過L2距離約束，使其生成特征圖的語義信息逐步與預(yù)訓練網(wǎng)絡(luò)產(chǎn)生的正確語義之間歐氏距離介于0.06-0.2；

計算待剪枝的分類網(wǎng)絡(luò)中每層卷積層中濾波器的聚類中心，根據(jù)各卷積層中濾波器距離聚類中心的距離，按照剪枝比例去除距離小于閥值的濾波器；

迭代進行參數(shù)更新與網(wǎng)絡(luò)剪枝，直至達到規(guī)定迭代次數(shù)且已獲得數(shù)據(jù)集圖像對應(yīng)的正確語義，得到此時剪枝后的網(wǎng)絡(luò)參數(shù)；其中，預(yù)訓練網(wǎng)絡(luò)的特征圖和剪枝后網(wǎng)絡(luò)的特征圖的歐氏距離小于0.2；

根據(jù)預(yù)先設(shè)定的參數(shù)剪枝率λ，輸出參數(shù)量為原來(1-λ)％、浮點運算量為原分類網(wǎng)絡(luò)70％以下的新網(wǎng)絡(luò)，且新網(wǎng)絡(luò)輸出的圖像分類準確率與原分類網(wǎng)絡(luò)輸出的分類準確率的誤差在1％以內(nèi)。

2.根據(jù)權(quán)利要求1所述的基于FPCC-GAN的構(gòu)建輕型圖像分類網(wǎng)絡(luò)的方法，其特征在于，所述特征圖形成過程如下：

數(shù)據(jù)集中包括現(xiàn)實場景中各類圖像，隨機選取圖像輸入預(yù)訓練好的網(wǎng)絡(luò)，經(jīng)過卷積層提取出與目標種類相關(guān)的紋理或結(jié)構(gòu)特征形成特征圖。

3.根據(jù)權(quán)利要求1所述的基于FPCC-GAN的構(gòu)建輕型圖像分類網(wǎng)絡(luò)的方法，其特征在于，所述預(yù)訓練好的分類網(wǎng)絡(luò)包括VGG-16、VGG-19、GoogLeNet、ResNet-56、ResNet-20、ResNet-34或ResNet-110；

所述數(shù)據(jù)集包括CIFAR-10、MNIST和SVHN。

4.根據(jù)權(quán)利要求1所述的基于FPCC-GAN的構(gòu)建輕型圖像分類網(wǎng)絡(luò)的方法，其特征在于，所述待剪枝的分類網(wǎng)絡(luò)的目標優(yōu)化函數(shù)為：

其中，L_adv(W_G，M，W_D)表示判別器和剪枝網(wǎng)絡(luò)相互競爭的對抗損失，使用L_adv(W_G，M，W_D)來訓練生成器G和判別器D，定義為：

其中，p_b(x)和p_g(x)分別表示基線和剪枝網(wǎng)絡(luò)的特征分布；使用修剪掉的參數(shù)作為輸入噪聲z，p_z(z)是輸入噪聲z的先驗分布；

L_data(W_G，M，W_B)表示基線輸出特征和剪枝網(wǎng)絡(luò)輸出特征之間的數(shù)據(jù)損失，用于對齊這兩個網(wǎng)絡(luò)的輸出，用MSE損失表示：

其中，n表示批次的大小。