[發(fā)明專利]一種基于主成分分析改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的半監(jiān)督分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910012548.0
• 申請(qǐng)日: 2019-01-07
• 公開（公告）號(hào): CN109740677A
• 公開（公告）日: 2019-05-10
• 發(fā)明（設(shè)計(jì)）人: 王春枝;吳盼;嚴(yán)靈毓;王毅超;蔡文成;周方禹
• 申請(qǐng)（專利權(quán)）人: 湖北工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

本發(fā)明屬于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)領(lǐng)域，公開了一種基于主成分分析改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的半監(jiān)督分類方法，使用主成分分析法(PCA)對(duì)原始圖片進(jìn)行壓縮降維，用降維得到的向量代替原始的隨機(jī)噪聲向量，作為生成器的輸入，提高了生成對(duì)抗網(wǎng)絡(luò)生成圖片的質(zhì)量，同時(shí)也提高了半監(jiān)督分類的準(zhǔn)確率。本發(fā)明主成分分析法可以在降低數(shù)據(jù)維度的同時(shí)保留原數(shù)據(jù)的部分特征，用降維后的數(shù)據(jù)代替隨機(jī)噪聲輸入生成器，能夠更快的生成質(zhì)量更高(更接近真實(shí)圖片)的數(shù)據(jù)，減少網(wǎng)絡(luò)迭代次數(shù)，提高分類準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)領(lǐng)域，尤其涉及一種基于主成分分析改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的半監(jiān)督分類方法及系統(tǒng)。

背景技術(shù)

生成式對(duì)抗網(wǎng)絡(luò)(GAN,Generative Adversarial Networks)是一種深度學(xué)習(xí)模型，模型通過框架中(至少)兩個(gè)模塊：生成器(Generative Model)和判別器(Discriminative Model)的互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出。生成器是給定某種隱含信息，來隨機(jī)產(chǎn)生觀測(cè)數(shù)據(jù)。原始GAN理論中，并不要求生成器G和判別器D都是神經(jīng)網(wǎng)絡(luò)，只需要是能擬合相應(yīng)生成和判別的函數(shù)即可。但實(shí)用中一般均使用深度神經(jīng)網(wǎng)絡(luò)作為G和D。生成對(duì)抗網(wǎng)絡(luò)由生成器G和判別器D兩部分組成，生成器部分使用的是隨機(jī)噪聲輸入，導(dǎo)致訓(xùn)練過程中存在不穩(wěn)定性，生成圖片的質(zhì)量較低，使用原生成對(duì)抗網(wǎng)絡(luò)進(jìn)行半監(jiān)督分類的準(zhǔn)確率不高。

一個(gè)優(yōu)秀的GAN應(yīng)用需要有良好的訓(xùn)練方法，否則可能由于神經(jīng)網(wǎng)絡(luò)模型的自由性而導(dǎo)致輸出不理想。半監(jiān)督分類(Semi-Supervised Classification)是在只有少量帶標(biāo)簽數(shù)據(jù)的情況下，使用大量無類標(biāo)簽的樣例幫助訓(xùn)模型，獲得比只用有類標(biāo)簽的樣本訓(xùn)練得到的分類器性能更優(yōu)的分類器，彌補(bǔ)有類標(biāo)簽的樣本不足的缺陷。未標(biāo)記樣本雖未直接包含標(biāo)記信息，但若它們與有標(biāo)記信息樣本是從同樣的數(shù)據(jù)源獨(dú)立同分布采樣而來，則它們所包含的關(guān)于數(shù)據(jù)分布的信息對(duì)建立模型是有幫助的。將GAN應(yīng)用于半監(jiān)督分類任務(wù)時(shí)，只需要對(duì)最初的GAN的結(jié)構(gòu)做稍微改動(dòng)，即把discriminator模型的輸出層替換成softmax分類器。假設(shè)訓(xùn)練數(shù)據(jù)有K類，那么在訓(xùn)練GAN模型的時(shí)候，可以把generator模擬出來的樣本歸為第K+1類，而softmax分類器也增加一個(gè)輸出神經(jīng)元，用于表示discriminator模型的輸入為“假數(shù)據(jù)”的概率，這里的“假數(shù)據(jù)”具體指generator生成的樣本。因?yàn)樵撃Ｐ涂梢岳糜袠?biāo)簽的訓(xùn)練樣本，也可以從無標(biāo)簽的生成數(shù)據(jù)中學(xué)習(xí)，所以稱之為“半監(jiān)督”分類。

PCA(principal Component Analysis)，即主成分分析方法，是一種使用最廣泛的數(shù)據(jù)壓縮算法。在PCA中，數(shù)據(jù)從原來的坐標(biāo)系轉(zhuǎn)換到新的坐標(biāo)系，由數(shù)據(jù)本身決定。轉(zhuǎn)換坐標(biāo)系時(shí)，以方差最大的方向作為坐標(biāo)軸方向，因?yàn)閿?shù)據(jù)的最大方差給出了數(shù)據(jù)的最重要的信息。第一個(gè)新坐標(biāo)軸選擇的是原始數(shù)據(jù)中方差最大的方法，第二個(gè)新坐標(biāo)軸選擇的是與第一個(gè)新坐標(biāo)軸正交且方差次大的方向。重復(fù)該過程，重復(fù)次數(shù)為原始數(shù)據(jù)的特征維數(shù)。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。

綜上所述，現(xiàn)有技術(shù)存在的問題是：

(1)生成對(duì)抗網(wǎng)絡(luò)中生成器的輸入為隨機(jī)噪聲，隨機(jī)性會(huì)導(dǎo)致生成器的參數(shù)不易訓(xùn)練，難以生成高質(zhì)量的圖片。

(2)現(xiàn)實(shí)生活中，有標(biāo)簽數(shù)據(jù)少無標(biāo)簽數(shù)據(jù)多是一個(gè)普遍現(xiàn)象，現(xiàn)有技術(shù)無法充分利用無標(biāo)記樣本來訓(xùn)練網(wǎng)絡(luò)模型。

(3)生成器和判別器是一個(gè)相互博弈的過程，用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行半監(jiān)督分類是對(duì)判別器的輸出稍作調(diào)整，改成一個(gè)分類器，生成器的效果會(huì)影響到判別器(分類器)最后的分類準(zhǔn)確率。

解決上述技術(shù)問題的難度：