[發(fā)明專利]基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練及相關(guān)分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010021866.6
• 申請(qǐng)日: 2020-01-09
• 公開（公告）號(hào): CN111222471B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 張勇東;張?zhí)熘?/a>;伍佳敏
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練方法，其特征在于，包括：

對(duì)于輸入圖像以及各類別的屬性向量，通過視覺提取模塊與語義嵌入模塊對(duì)應(yīng)地提取視覺增強(qiáng)特征與語義嵌入特征；通過深度網(wǎng)絡(luò)計(jì)算視覺增強(qiáng)特征與語義嵌入特征的相似度，并與已知的輸入圖像和各類別對(duì)應(yīng)關(guān)系，建立視覺語義對(duì)齊損失函數(shù)；所述輸入圖像包含了源域圖像與目標(biāo)域圖像；

利用編碼了源域圖像與目標(biāo)域圖像共享的視覺信息的多屬性分類器的權(quán)重參數(shù)作為參考代理，并基于參考代理來重構(gòu)源域圖像與目標(biāo)域圖像的視覺增強(qiáng)特征；基于不同域圖像的重構(gòu)特征間的相似性，小于相同域圖像的重構(gòu)特征和其視覺增強(qiáng)特征之間的相似性的自監(jiān)督信息，建立自監(jiān)督學(xué)習(xí)的跨域三元組損失函數(shù)；

基于視覺語義對(duì)齊損失函數(shù)與自監(jiān)督學(xué)習(xí)的跨域三元組損失函數(shù)訓(xùn)練域感知網(wǎng)絡(luò)，并反饋給視覺提取模塊，使得視覺提取模塊提取出域感知的視覺增強(qiáng)特征；

其中，所述利用編碼了源域圖像與目標(biāo)域圖像共享視覺信息的多屬性分類器的權(quán)重參數(shù)作為參考代理，并基于參考代理來重構(gòu)源域圖像與目標(biāo)域圖像的視覺增強(qiáng)特征包括：

將多屬性分類器的權(quán)重參數(shù)記為d_e為權(quán)重參數(shù)的總數(shù)；

將每一權(quán)重參數(shù)作為一個(gè)參考代理，并通過比較視覺增強(qiáng)特征與相應(yīng)參考代理權(quán)重參數(shù)，得到視覺相似度

其中，為輸入圖像i的視覺增強(qiáng)特征，分子表示輸入圖像i和第k個(gè)參考代理A_k的相似度，分母的含義是圖像i和所有參考代理的相似度之和；k、k′的范圍均為1～d_e；

將視覺相似度作為軟標(biāo)簽進(jìn)行特征重構(gòu)：

2.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練方法，其特征在于，通過視覺提取模塊提取輸入圖像的視覺增強(qiáng)特征時(shí)，先通過特征提取器提取出視覺特征x^o，再通過特征增強(qiáng)層得到適應(yīng)于語義對(duì)齊的視覺增強(qiáng)特征x^a。

3.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練方法，其特征在于，通過語義嵌入模塊提取各類別的屬性向量包括：

對(duì)于每個(gè)類別給定的屬性向量，通過若干層全連接網(wǎng)絡(luò)和激活函數(shù)將其映射到對(duì)應(yīng)的視覺空間中，得到語義嵌入特征e^y；類別包含源域中的已見類別以及目標(biāo)域中未見類別。

4.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練方法，其特征在于，所述通過深度網(wǎng)絡(luò)計(jì)算視覺增強(qiáng)特征與語義嵌入特征的相似度，并與已知的輸入圖像和各類別對(duì)應(yīng)關(guān)系，建立視覺語義對(duì)齊損失函數(shù)包括：

對(duì)于輸入圖像i，視覺提取模塊提取的視覺增強(qiáng)特征記為對(duì)于類別j的屬性向量，語義嵌入模塊提取的語義嵌入特征記為

通過深度網(wǎng)絡(luò)h計(jì)算視覺增強(qiáng)特征與語義嵌入特征的相似度：

其中，θ_SM是深度網(wǎng)絡(luò)h的參數(shù)；

建立的視覺語義對(duì)齊損失函數(shù)表示為：

其中，n為類別總數(shù)；m為圖像總數(shù)；y_i、y_j各自為輸入圖像i、類別j的類別標(biāo)簽，當(dāng)y_i＝y(tǒng)_j時(shí)，δ(y_i,y_j)＝1，否則δ(y_i,y_j)＝0。

5.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督域感知網(wǎng)絡(luò)的零樣本訓(xùn)練方法，其特征在于，基于不同域圖像的重構(gòu)特征間的相似性，小于相同域圖像的重構(gòu)特征和其視覺增強(qiáng)特征之間的相似性的自監(jiān)督信息，建立自監(jiān)督學(xué)習(xí)的跨域三元組損失函數(shù)包括：

基于自監(jiān)督信息，利用不同域圖像的重構(gòu)特征形成負(fù)樣本對(duì)相同域圖像的視覺增強(qiáng)特征和其重構(gòu)特征形成了正樣本對(duì)其中，*＝s,t，分別表示源域圖像的視覺增強(qiáng)特征、重構(gòu)特征；表示目標(biāo)域圖像的視覺增強(qiáng)特征、重構(gòu)特征；neg、pos分別表示負(fù)樣本對(duì)、正樣本對(duì)的總數(shù)；

建立的自監(jiān)督學(xué)習(xí)的跨域三元組損失函數(shù)表示為：

通過上述自監(jiān)督學(xué)習(xí)的跨域三元組損失函數(shù)，使得源域圖像和目標(biāo)域圖像的視覺增強(qiáng)特征分布被分開。