[發明專利]一種基于相似度約束的解耦表示學習算法

在審

• 申請號: 201910598166.0
• 申請日: 2019-07-04
• 公開（公告）號: CN111461159A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 李曉強;陳亮波
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王志敏

本發明公開了一種基于相似度約束的解耦表示學習算法，要解決的是現有InfoGAN在無監督的表示學習模型中的問題。本發明具體步驟如下：步驟一，準備數據集；步驟二，選擇模型的結構：為了生成視覺效果更佳的圖片，采用使用梯度懲罰的WGAN的結構；步驟三，對模型施加相似度約束：在使用梯度懲罰的WGAN結構的基礎上，對生成圖片的相似度和因子施加約束。本發明提出了相似度約束的生成對抗網絡(SCGAN)，相比InfoGAN模型，本發明的結構簡單，只需要在原始的生成對抗網絡基礎上增加相似度約束即可，同時SCGAN具有更高的模型魯棒性，在處理過的數據集依然表現穩定，并且SCGAN也是無監督的表示學習模型，因此可以避免昂貴的標注工作，應用前景廣闊。

技術領域

本發明涉及圖片表示領域，具體是一種基于相似度約束的解耦表示學習算法。

背景技術

在概率統計理論中,生成模型是指能夠從訓練數據中估計出概率分布，并利用該分布隨機生成新的觀測數據的這樣一類模型。要讓一個優秀的機器學習算法試圖去理解數據內在的規律，首先需要讓該算法學會去創造，也就是說生成數據具有重要的意義。表示學習作為生成學習中一個熱門的領域，受到學者的廣泛關注。通過表示學習獲得的高效的表示，可以輔助機器學習中的很多判別任務，例如分類、分割、檢測等。解耦表示學習屬于表示學習的一個子分支，目的是學習到能夠控制圖片的高級語義信息的因子。對于有監督的模型，例如CGAN(條件生成對抗網絡)，顯式提供了因子的標簽，讓因子學習去控制物品的類別。對于無監督的模型，例如InfoGAN(信息最大化生成對抗網絡)，通過互信息來衡量因子和圖片表示的關系，利用變分技術來最大化互信息的下界，進而讓因子學習去控制圖片潛在的表示，例如光照、色彩等。

條件生成模型需要提供標簽進行表示學習，在絕大多數情況下，獲取標簽需要昂貴的代價，并且由于條件生成模型對需要學習的表示提供了標簽，因此模型捕捉到的表示是有限的，例如在手寫字符集上捕捉到數字類型。

在無監督的表示學習模型中，InfoGAN是比較經典的。該模型的思想是最大化因子和圖片的互信息，直覺的解釋是既然因子能控制圖片的某種表示，那么因子必然和圖片有著緊密的聯系，而互信息正好可以用于衡量這種聯系。但是InfoGAN的模型比較復雜，為了最大化互信息，InfoGAN使用變分技術，額外增加一個神經網絡用于最大化這個下界。并且InfoGAN訓練不太穩定，在一些處理過的數據集(隨機平移過的手寫字符數據集)上容易發生崩潰現象，人們也在進行相關方面的研究。

發明內容

本發明實施例的目的在于提供一種基于相似度約束的解耦表示學習算法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明實施例提供如下技術方案：

一種基于相似度約束的解耦表示學習算法，具體步驟如下：

步驟一，準備數據集；

步驟二，選擇模型的結構：為了生成視覺效果更佳的圖片，采用使用梯度懲罰的WGAN(基于瓦瑟斯坦距離的生成對抗網絡)的結構，WGAN使用了Wasserstein距離來替代原始GAN(生成對抗網絡)中的Jensen-Shannon(杰森香農)散度，從而能有效地避免模式崩塌的現象，生成模式更佳豐富的圖片；其次，WGAN的訓練過程比原始的GAN更加穩定，更容易收斂，為了讓判別器評估Wasserstein距離，需要約束判別器在1-Lipschitzd(李普希茨)限制下，而1-Lipschitzd約束的本質是要求判別器輸出的變化程度要小于輸入的變化程度，有一些技術可以讓判別器近似達到1-Lipschitzd限制，例如權重裁剪和梯度懲罰，在實際操作中，梯度懲罰的效果要遠好于權重裁剪，因此這里優先選擇梯度懲罰的技術；