[發(fā)明專利]基于生成式雙重條件對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的圖像半監(jiān)督分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011147833.2
• 申請(qǐng)日: 2020-10-23
• 公開（公告）號(hào): CN112257787B
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 宮秀軍;吳澤宇
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/774;G06V10/30;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國(guó)威

1.一種基于生成式雙重條件對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的圖像半監(jiān)督分類方法，其特征是，包括以下步驟：

步驟一，初始化模型的相關(guān)變量和網(wǎng)絡(luò)參數(shù)；

步驟二，加載圖像數(shù)據(jù)，包括圖像的初始化，以及圖像數(shù)據(jù)種類的分割，分別切分為訓(xùn)練集和驗(yàn)證集以及測(cè)試集,其中x_real表示真實(shí)數(shù)據(jù),x_fake表示生成器G生成數(shù)據(jù)；

步驟三，生成隨機(jī)噪聲noise，以及生成條件即標(biāo)簽c；

步驟四，將隨機(jī)噪聲noise以及條件c輸入到生成器G中，得到生成給定條件即標(biāo)簽c下的圖像數(shù)據(jù)x_fake＝G(noise,c)；

步驟五，訓(xùn)練并且優(yōu)化生成器G，對(duì)于生成器G的損失函數(shù)為L(zhǎng)_G:

其中，和分別表示判別器D對(duì)與真實(shí)數(shù)據(jù)x_real和生成數(shù)據(jù)x_fake所提取出來(lái)的數(shù)據(jù)特征，L_feature表示生成圖像x_fake和真實(shí)圖像x_real之間重要圖像特征的差異的損失函數(shù)，L_feature越小說(shuō)明生成器G所學(xué)習(xí)的分布越接近真實(shí)數(shù)據(jù)的分布；是生成器條件生成圖像的約束條件的損失函數(shù)，這個(gè)約束條件可以使得生成器生成某種條件下的圖像數(shù)據(jù)；

步驟六，輸入真實(shí)數(shù)據(jù)和生成的數(shù)據(jù)，生成器與判別器的對(duì)抗，實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)對(duì)于無(wú)標(biāo)簽數(shù)據(jù)信息的第一次提取，真假判斷目標(biāo)函數(shù)L_s如下：

其中，是判別器D對(duì)真實(shí)圖片x_real預(yù)測(cè)為真圖片，即：s＝real時(shí)的對(duì)數(shù)概率的均值，判別器D需要盡量的增大這個(gè)值才能夠正確的判斷出來(lái)這是真實(shí)圖像；表示判別器D對(duì)于生成圖像x_fake預(yù)測(cè)為假圖片，即：s＝fake時(shí)的對(duì)數(shù)概率的均值，判別器要盡量的增大這個(gè)值才能夠正確的判斷出來(lái)這是生成圖像；結(jié)合生成器的損失函數(shù)，生成器和判別器實(shí)現(xiàn)第一次對(duì)抗；

步驟七，對(duì)于有標(biāo)簽數(shù)據(jù)和條件生成的數(shù)據(jù)，判別器所要實(shí)現(xiàn)的分類條件損失函數(shù)L_c如下：

其中，和] 分別表示判別器D把真實(shí)數(shù)據(jù)的標(biāo)簽預(yù)測(cè)值預(yù)測(cè)為真實(shí)標(biāo)簽的對(duì)數(shù)概率均值，以及把生成數(shù)據(jù)的條件預(yù)測(cè)值預(yù)測(cè)為真實(shí)給定的條件值的對(duì)數(shù)概率均值，其中C表示標(biāo)簽或條件分布、c是具體的標(biāo)簽或條件，判別器需要盡量增大這兩個(gè)均值，才能夠正確的預(yù)測(cè)出其所對(duì)應(yīng)的標(biāo)簽或者 對(duì)應(yīng)條件；

步驟八，輸入無(wú)標(biāo)簽數(shù)據(jù)x_u，單獨(dú)利用無(wú)標(biāo)簽數(shù)據(jù)對(duì)判別器進(jìn)行二次對(duì)抗訓(xùn)練，即：對(duì)于任意一個(gè)無(wú)標(biāo)簽數(shù)據(jù)樣本x_u的某個(gè)鄰域中，找到一個(gè)最大的擾動(dòng)向量r_qadv，該擾動(dòng)向量的目的是使得新的擾動(dòng)樣本x_u+r_qadv經(jīng)過(guò)判別器的預(yù)測(cè)分布與原本的樣本預(yù)測(cè)分布差異最大化；同時(shí)判別器要能夠盡量的識(shí)別出經(jīng)過(guò)擾動(dòng)向量干擾的新樣本，使得新的擾動(dòng)樣本x_u+r_qadv經(jīng)過(guò)判別器的預(yù)測(cè)分布與原本的樣本預(yù)測(cè)分布差異最小化，這樣就形成了對(duì)判別器的二次對(duì)抗；這次對(duì)抗訓(xùn)練的目標(biāo)函數(shù)如下：

其中為KL散度，用于衡量?jī)煞N預(yù)測(cè)結(jié)果分布的差距,θ表示模型參數(shù)是個(gè)變量利用梯度下降來(lái)進(jìn)行優(yōu)化,表示θ的在某一時(shí)刻的某一固定取值是個(gè)常量,r為擾動(dòng)向量即噪聲,||r||₂≤ε表示擾動(dòng)向量r的一個(gè)半徑小于ε的鄰域，表示判別器D在模型參數(shù)為時(shí)對(duì)無(wú)標(biāo)簽數(shù)據(jù)的預(yù)測(cè)分布,q(y|x_u+r，θ)表示判別器D在對(duì)添加擾動(dòng)向量的無(wú)標(biāo)簽數(shù)據(jù)的預(yù)測(cè)分布，其中r_qadv稱為最大擾動(dòng)向量，該擾動(dòng)向量的目標(biāo)是使得判別器對(duì)無(wú)標(biāo)簽數(shù)據(jù)x_u預(yù)測(cè)分布和判別器對(duì)x_u+r的預(yù)測(cè)分布q(y|x_u+r，θ)偏差達(dá)到最大化，q(y|x_u+r_qadv，θ)表示判別器D在對(duì)添加最大擾動(dòng)向量的無(wú)標(biāo)簽數(shù)據(jù)的預(yù)測(cè)分布；判別器的目標(biāo)則與之相反，它要使得判別器對(duì)無(wú)標(biāo)簽數(shù)據(jù)x_u預(yù)測(cè)分布和判別器對(duì)x_u+r的預(yù)測(cè)分布q(y|x_u+r，θ)偏差達(dá)到最小化；從而實(shí)現(xiàn)第二次對(duì)抗；其中具體計(jì)算r_qadv的方法為：假設(shè)模型在參數(shù)為時(shí)對(duì)無(wú)標(biāo)簽數(shù)據(jù)x_u的預(yù)測(cè)分布為然后在無(wú)標(biāo)簽樣本上加入高斯分布的噪聲得到新樣本輸入模型得到預(yù)測(cè)分布為然后通過(guò)以下公式計(jì)算：

得到擾動(dòng)值，其中∈為一個(gè)超參數(shù)，

步驟九，訓(xùn)練并且優(yōu)化判別器D，對(duì)于判別器D的最終損失函數(shù)為

其中L_s為真假判斷損失函數(shù)如式(2),L_c為分類條件損失函數(shù)如式(3),為二次對(duì)抗網(wǎng)絡(luò)的損失函數(shù)如式(4)。