[發(fā)明專利]一種用于域適應(yīng)語義分割的聯(lián)合對抗學(xué)習(xí)方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210238027.9
• 申請日: 2022-03-11
• 公開（公告）號: CN114581669A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 王子磊;毛語實(shí);張燚鑫
• 申請（專利權(quán)）人: 合肥中科類腦智能技術(shù)有限公司;中國科技技術(shù)大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海市錦天城律師事務(wù)所 31273
• 代理人: 陸少凡

本發(fā)明提出一種用于域適應(yīng)語義分割的聯(lián)合對抗學(xué)習(xí)方法和系統(tǒng)，所述方法包括域適應(yīng)模塊根據(jù)輸入源域圖像和目標(biāo)域圖像獲得語義分割圖以及判別分割圖的屬性，域適應(yīng)模塊包括一生成器和一判別器，所述生成器輸出源域圖像和目標(biāo)域圖像對應(yīng)的語義分割圖；所述譯碼器用于將不同層次的特征圖處理為不同層分割圖，一權(quán)重遷移模塊將不同層次的特征圖處理為遷移分割圖；所述判別器對所述語義分割圖和所述遷移分割圖進(jìn)行鑒別，判斷所述語義分割圖和所述遷移分割圖屬于源域或目標(biāo)域；計(jì)算鑒別結(jié)果與圖像實(shí)際所屬域的損失函數(shù)，根據(jù)損失函數(shù)更新生成器、判別器的權(quán)重。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，更進(jìn)一步涉及圖像語義分割領(lǐng)域，尤其是一種用于域適應(yīng)語義分割的聯(lián)合對抗學(xué)習(xí)方法和系統(tǒng)。

背景技術(shù)

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺的諸多領(lǐng)域上成就卓然，而其成功在很大程度上依賴于包含大量數(shù)據(jù)的高質(zhì)量數(shù)據(jù)集。為了節(jié)省人力和時(shí)間成本，域適應(yīng)語義分割采用渲染引擎生成和標(biāo)注的合成圖像訓(xùn)練模型。然而，由于源域（合成）與目標(biāo)域（真實(shí)）直接存在領(lǐng)域偏移，在一般語義分割方法的基礎(chǔ)上，域適應(yīng)方法更注重減小該偏移量，以提高模型在真實(shí)場景上的分割效果。

域適應(yīng)的一般方法是通過最小化領(lǐng)域偏移的度量來構(gòu)建跨域不變性，具體到語義分割領(lǐng)域，就是要保證源域和目標(biāo)域之間的分布一致性。現(xiàn)有方法大多采用對抗學(xué)習(xí)的思想在像素空間、特征空間或輸出空間內(nèi)約束上述一致性。在輸出空間中，兩個(gè)域共享的結(jié)構(gòu)信息更多，因此輸出空間更適合語義分割任務(wù)。目前域適應(yīng)語義分割主要包括三種方法：有監(jiān)督域適應(yīng)、半監(jiān)督域適應(yīng)和無監(jiān)督域適應(yīng)。有監(jiān)督域適應(yīng)需要源域和目標(biāo)域的圖像和對應(yīng)完整標(biāo)簽，但目標(biāo)域數(shù)據(jù)集在規(guī)模上通常遠(yuǎn)小于源域數(shù)據(jù)集，目標(biāo)域一般都是真實(shí)圖像，需要人工給出分割標(biāo)簽，消耗巨大的人力和時(shí)間成本；半監(jiān)督域適應(yīng)需要源域的完整標(biāo)簽和目標(biāo)域的部分標(biāo)簽；無監(jiān)督域適應(yīng)只需要源域的完整標(biāo)簽。顯然，無監(jiān)督域適應(yīng)更具有挑戰(zhàn)性和研究價(jià)值。在專利發(fā)明名稱為：基于生成對抗和類特征分布的域適應(yīng)無監(jiān)督圖像分割方法，公開號為：CN 113436197A公開，由主分割網(wǎng)絡(luò)生成分割圖并進(jìn)行對抗學(xué)習(xí)，同時(shí)利用輔助分割網(wǎng)絡(luò)獲取每個(gè)類別的中心特征，通過計(jì)算每個(gè)像素特征到中心特征的距離優(yōu)化分割圖，也即通過優(yōu)化特征空間，然而對特征空間進(jìn)行約束的效果普遍不如直接對輸出空間進(jìn)行約束的效果。在專利發(fā)明名稱為：一種基于最大二乘損失的無監(jiān)督域適應(yīng)語義分割方法，公開號為：CN110222690A，在目標(biāo)域上使用最大二乘損失無監(jiān)督地訓(xùn)練語義分割模型，并加入一個(gè)額外的分類網(wǎng)絡(luò)在兩個(gè)域上訓(xùn)練語義分割模型提取出的第四層的特征，達(dá)到對齊特征分布的目的，提高小物體上的分割質(zhì)量，僅能夠針對小物體進(jìn)行優(yōu)化，不能避免大場景下出現(xiàn)錯(cuò)誤的情況。在專利發(fā)明名稱為：基于交叉領(lǐng)域類別感知的領(lǐng)域適應(yīng)語義分割方法及裝置，公開號為：CN112016592A，將源圖像轉(zhuǎn)換成目標(biāo)域風(fēng)格后進(jìn)行特征提取和分類，并引入交叉域類別感知器對特征圖的分類模糊特征點(diǎn)進(jìn)行調(diào)整，得到注意力特征圖，進(jìn)行語義分割，主要是基于像素空間和特征空間進(jìn)行的處理。然而，上述方法均不是直接針對輸出空間處理的，基本以尋找其他約束信息為主，顯然，約束信息的選取和學(xué)習(xí)的準(zhǔn)確度都會對特征對齊效果及最終的分割結(jié)果產(chǎn)生較大影響。

綜上所述，現(xiàn)有技術(shù)中存在如下問題：

1.基本都是基于像素空間及特征空間進(jìn)行的約束，也即是針對中間過程處理的優(yōu)化，會對輸出空間也即最終的結(jié)果的分割結(jié)果產(chǎn)生影響；

2.使用附加的網(wǎng)絡(luò)和約束，降低訓(xùn)練效率，提高參數(shù)量和訓(xùn)練時(shí)間，也即在主網(wǎng)絡(luò)上面添加一個(gè)新的網(wǎng)絡(luò)，計(jì)算特征到中心的優(yōu)化距離，最大二乘損失額外的網(wǎng)絡(luò)，分類網(wǎng)絡(luò)，增加方案的不穩(wěn)定性，工作量；

3.現(xiàn)有技術(shù)過度依賴源域的標(biāo)簽，語義分割算法準(zhǔn)確率低。

有鑒于此，如何設(shè)計(jì)一種新的聯(lián)合對抗學(xué)習(xí)方法，實(shí)現(xiàn)提升語義分割準(zhǔn)確率是業(yè)內(nèi)相關(guān)技術(shù)人員亟待解決的一項(xiàng)課題。

發(fā)明內(nèi)容