[發(fā)明專利]基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法

在審

• 申請?zhí)枺?/td>: 202110816631.0
• 申請日: 2021-07-20
• 公開（公告）號: CN113469273A
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計）人: 田青;朱雅喃;馬闖;楊宏;許衡
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 李小靜

本發(fā)明公開了基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法，屬于遷移學(xué)習(xí)領(lǐng)域。本發(fā)明通過采用雙向生成網(wǎng)絡(luò)，分別輸入源域和目標域的圖像將其生成對應(yīng)偽目標域圖像和偽源域圖像，生成過程中由任務(wù)網(wǎng)絡(luò)提供監(jiān)督信息以指導(dǎo)圖像生成質(zhì)量，模型訓(xùn)練結(jié)束后，將偽源域圖像與源域圖像分別輸入到分類網(wǎng)絡(luò)中，通過相關(guān)距離度量，不斷縮減偽源域與源域圖像的分布差異，從而使得分類網(wǎng)絡(luò)能夠利用源域知識為目標域圖像進行分類，相較于傳統(tǒng)的域適應(yīng)模型，本模型在提高模型泛化能力的同時，提高了模型的分類精度，既不會混淆域特有信息和域不變信息，從而導(dǎo)致負遷移的情況出現(xiàn)，又能夠使得生成的偽源域樣本可以完全符合源域樣本分布。

技術(shù)領(lǐng)域

本發(fā)明涉及遷移學(xué)習(xí)技術(shù)領(lǐng)域，具體為基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法。

背景技術(shù)

域適應(yīng)，主要解決源域與目標域之間分布不同的相似任務(wù)決策問題，通過將源域知識遷移到目標域中，解決目標域任務(wù)。目前，域適應(yīng)已經(jīng)應(yīng)用在諸多領(lǐng)域并取得了成功。例如，在語義分割方面，傳統(tǒng)的語義分割會利用分布相同的現(xiàn)實照片作為訓(xùn)練集，實現(xiàn)現(xiàn)實世界中的物體識別問題。但是，采集這些照片并手動賦予標簽是一件耗時耗力的事情，因此研究者們引入域適應(yīng)方法，以其他場景的圖像作為訓(xùn)練集(其分布與待完成任務(wù)的圖像分布相似但不相同)，并取得了良好的效果。

無監(jiān)督域適應(yīng)的目的是將有標簽的源域樣本中所學(xué)知識傳遞給無標簽的目標域樣本。一方面，已有的一些方法通過直接縮減域分布差異來顯式地減緩知識傳遞的難度，但這種方式會混淆域特有信息和域不變信息，從而導(dǎo)致負遷移；另一方面，在雙向生成的對抗方法中，還有一些研究希望將目標域樣本生成與源域分布足夠相似的偽源域樣本，然后利用源域知識為其直接進行分類，但實際情況中，生成模型在面對特定任務(wù)時往往需要特定的參數(shù)，這導(dǎo)致其不具備泛化能力，且生成的偽源域樣本不能完全符合源域樣本分布，為此，提出基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：基于雙向生成及中間域?qū)R的無監(jiān)督域適應(yīng)圖像分類方法，包括以下步驟：

S1、雙向生成網(wǎng)絡(luò)：利用對抗博弈思想對圖像進行訓(xùn)練生成；

S2、任務(wù)網(wǎng)絡(luò)：通過重構(gòu)損失、協(xié)方差對齊損失、任務(wù)和循環(huán)一致性損失監(jiān)督指導(dǎo)S1生成圖像的質(zhì)量，保證圖像身份信息，生成與另一個域樣本分布相似的圖像，將目標域圖像所生成的偽源域圖像與源域圖像同時輸入S3網(wǎng)絡(luò)；

S3、分類網(wǎng)絡(luò)：特征提取，分布對齊，令偽源域圖像與源域圖像分布靠近，對目標域圖像分類。

優(yōu)選的：在所述S1中，將源域圖像與目標域圖像進行歸一化預(yù)處理之后，同時輸入到S1生成網(wǎng)絡(luò)中。

優(yōu)選的：所述S1網(wǎng)絡(luò)由兩個生成器和兩個判別器組成，兩個生成器和兩個判別器分為：源域分支的生成器G_S、目標域分支生成器G_T、源域分支的判別器D_S和目標域分支的判別器D_T；

所述源域分支的生成器G_S，用于生成偽目標域圖像I_S-t；

所述源域分支的判別器D_S，用于判別源域圖像和偽源域圖像；

所述目標域分支生成器G_T，用于生成偽源域圖像I_t-s；

所述目標域分支判別器D_T，用于判別目標域圖像和偽目標域圖像。

優(yōu)選的：所述S1雙向生成網(wǎng)絡(luò)所產(chǎn)生的對抗損失如下所示：