[發(fā)明專利]基于自編碼對(duì)抗生成網(wǎng)絡(luò)的零樣本學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811134484.3
• 申請(qǐng)日: 2018-09-27
• 公開（公告）號(hào): CN109598279B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 于云龍;冀中
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06F18/214
• 分類號(hào): G06F18/214;G06N3/0455;G06N3/0475;G06N3/084
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

一種基于自編碼對(duì)抗生成網(wǎng)絡(luò)的零樣本學(xué)習(xí)方法，包括：輸入可見類別樣本的視覺特征，以及對(duì)應(yīng)的類別語(yǔ)義特征；輸入具體的平衡參數(shù)λ及α的數(shù)值；設(shè)定參數(shù)的初始值，學(xué)習(xí)率，利用Adam優(yōu)化器訓(xùn)練本發(fā)明所提出的自編碼對(duì)抗生成網(wǎng)絡(luò)，得到編碼器和解碼器的模型參數(shù)；輸入未見類別的語(yǔ)義特征，利用已訓(xùn)練好的模型參數(shù)合成對(duì)應(yīng)類別的視覺特征；對(duì)未見類別的測(cè)試樣本進(jìn)行分類。本發(fā)明能夠有效地對(duì)齊視覺模態(tài)和類別語(yǔ)義模態(tài)之間的語(yǔ)義關(guān)系。將視覺信息和類別語(yǔ)義信息充分的交融在一起，能夠更有效地挖掘兩種模態(tài)之間的語(yǔ)義關(guān)聯(lián)，合成更有效地視覺特征。

技術(shù)領(lǐng)域

本發(fā)明涉及一種零樣本學(xué)習(xí)方法。特別是涉及一種基于自編碼對(duì)抗生成網(wǎng)絡(luò)的零樣本學(xué)習(xí)方法。

背景技術(shù)

深度學(xué)習(xí)技術(shù)的進(jìn)步極大地促進(jìn)了機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域的發(fā)展。然而這些技術(shù)大都局限于監(jiān)督學(xué)習(xí)，即需要大量的標(biāo)注樣本訓(xùn)練模型。在現(xiàn)實(shí)中，樣本標(biāo)注是一件極其費(fèi)力的工作。因此標(biāo)注樣本的缺失問題是影響當(dāng)前機(jī)器學(xué)習(xí)發(fā)展的瓶頸之一，需要一種在完全缺失目標(biāo)類別的視覺標(biāo)注數(shù)據(jù)情況下仍然能夠識(shí)別這些類別的技術(shù)，零樣本學(xué)習(xí)正是這樣的一類技術(shù)。

零樣本學(xué)習(xí)是利用可見類別的數(shù)據(jù)，輔以一定的先驗(yàn)知識(shí)，對(duì)未見類別(無(wú)訓(xùn)練數(shù)據(jù)的類別)進(jìn)行識(shí)別的技術(shù)。因此，零樣本學(xué)習(xí)是解決樣本缺失的一種有效手段。

當(dāng)前實(shí)現(xiàn)零樣本學(xué)習(xí)的基本思路是利用可見類別(有標(biāo)注數(shù)據(jù)的訓(xùn)練類別)的樣本數(shù)據(jù)以及樣本對(duì)應(yīng)的類別語(yǔ)義特征訓(xùn)練模型，并利用訓(xùn)練模型實(shí)現(xiàn)未見類別(沒有標(biāo)注數(shù)據(jù)的測(cè)試類別)樣本的分類。當(dāng)前針對(duì)如何訓(xùn)練樣本數(shù)據(jù)和類別語(yǔ)義之間語(yǔ)義關(guān)系的模型主要分為兩類：一類是基于判別的模型，另一類是基于生成的模型。基于判別的模型將零樣本學(xué)習(xí)看作是一種特殊的多模態(tài)學(xué)習(xí)任務(wù)。具體為，樣本數(shù)據(jù)的特征和類別語(yǔ)義特征是分布在不同模態(tài)空間中，判別模型的任務(wù)是學(xué)習(xí)一種模型將不同模態(tài)的特征映射到同一空間，以實(shí)現(xiàn)不同模態(tài)之間語(yǔ)義相似度的度量。盡管基于判別模型的方法在零樣本學(xué)習(xí)中取得了較好的效果，但這類方法容易產(chǎn)生域偏移問題，即利用可見類別訓(xùn)練的模型容易在測(cè)試類別上發(fā)生偏移。近年來，為了解決零樣本學(xué)習(xí)中未見類別樣本缺失的問題，研究者們提出利用生成模型合成未見類別數(shù)據(jù)特征的方法。這類方法的基本思路是利用類別的語(yǔ)義特征或者利用由類別的語(yǔ)義特征及噪聲組成的聯(lián)合特征作為輸入學(xué)習(xí)一個(gè)能夠減小生成數(shù)據(jù)和真實(shí)數(shù)據(jù)分布之間差異的模型。然而這類模型大部分只關(guān)注類別語(yǔ)義到視覺特征之間的語(yǔ)義對(duì)齊關(guān)系而忽視了視覺特征到類別語(yǔ)義之間的關(guān)系，這弱化了不同模態(tài)之間的對(duì)齊關(guān)系。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種有效地合成未見類別的樣本特征，同時(shí)有效地建立不同模態(tài)之間的語(yǔ)義交互關(guān)系的基于自編碼對(duì)抗生成網(wǎng)絡(luò)的零樣本學(xué)習(xí)方法。

本發(fā)明所采用的技術(shù)方案是：一種基于自編碼對(duì)抗生成網(wǎng)絡(luò)的零樣本學(xué)習(xí)方法，包括如下步驟：

1)將可見類別樣本的視覺特征x輸入到編碼器中，在樣本對(duì)應(yīng)的類別語(yǔ)義特征a的監(jiān)督下得到隱類別語(yǔ)義特征和隱噪聲特征所述的編碼器由三層網(wǎng)絡(luò)構(gòu)成；

2)將樣本對(duì)應(yīng)的類別語(yǔ)義特征a和真實(shí)的噪聲特征z輸入到解碼器中，在樣本的真實(shí)視覺特征的監(jiān)督下得到合成的樣本視覺特征解碼器由三層網(wǎng)絡(luò)構(gòu)成；

3)將由隱類別語(yǔ)義特征和隱噪聲特征組成的聯(lián)合特征作為假數(shù)據(jù)，將由類別語(yǔ)義特征a和真實(shí)的噪聲特征z組成的聯(lián)合特征作為真數(shù)據(jù)，輸入到類別語(yǔ)義判別器中，得到對(duì)應(yīng)的得分，其中真數(shù)據(jù)的得分為1，假數(shù)據(jù)的得分為0；

4)將樣本的視覺特征x作為真數(shù)據(jù)，合成的視覺特征作為假數(shù)據(jù)，輸入到視覺判別器中，得到對(duì)應(yīng)的得分，其中真數(shù)據(jù)的得分為1，假數(shù)據(jù)的得分為0；

5)根據(jù)步驟1)和步驟2)建立自編碼器的目標(biāo)函數(shù)：

其中E，G分別是編碼器，解碼器；w，v分別是編碼器和解碼器對(duì)應(yīng)的參數(shù)，是用于約束模型參數(shù)的正則項(xiàng)，表示二范數(shù)，λ表示所述正則項(xiàng)的平衡參數(shù)；