[發(fā)明專利]一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法

在審

• 申請?zhí)枺?/td>: 202011189232.8
• 申請日: 2020-10-30
• 公開（公告）號: CN114445626A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 林風(fēng)龍;鄭慧誠;梁凡
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明設(shè)計一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法。采用雙鑒別器與分割器進(jìn)行交替訓(xùn)練的策略。將不同的類概率圖及目標(biāo)值進(jìn)行線性混合作為雙鑒別器的訓(xùn)練數(shù)據(jù)，并輸出空間置信圖。使用帶標(biāo)簽數(shù)據(jù)訓(xùn)練時，分割網(wǎng)絡(luò)受到基于標(biāo)準(zhǔn)的交叉熵?fù)p失與對抗損失的共同監(jiān)督。經(jīng)過多輪的交替訓(xùn)練后，加入無標(biāo)簽數(shù)據(jù)，繼續(xù)訓(xùn)練。將兩個鑒別器輸出的置信圖分別經(jīng)過設(shè)定的閾值二值化處理，得到兩個不同的高置信度區(qū)域，將這兩個區(qū)域的交集作為一種偽標(biāo)簽，用于計算無標(biāo)簽數(shù)據(jù)的交叉熵?fù)p失。此時分割網(wǎng)絡(luò)多了一項(xiàng)基于偽標(biāo)簽的交叉熵?fù)p失。本發(fā)明通過引入雙鑒別器對抗學(xué)習(xí)，不僅提升了模型訓(xùn)練的穩(wěn)定性，也提升了分割性能，證明了該方法的有效性。

技術(shù)領(lǐng)域

本發(fā)明有關(guān)于圖像語義分割領(lǐng)域，具體涉及一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法。

背景技術(shù)

近年來，得益于大規(guī)模數(shù)據(jù)的誕生、高算力GPU的使用以及各種先進(jìn)模型方法的提出，基于深度學(xué)習(xí)的計算機(jī)視覺技術(shù)快速興起。圖像語義分割作為計算機(jī)視覺應(yīng)用領(lǐng)域中的一個基礎(chǔ)問題，是對圖像進(jìn)行像素級分類，為圖像中的每一個像素賦予一個適當(dāng)?shù)念悇e標(biāo)簽以及邊界定位，具有非常廣泛的實(shí)際應(yīng)用前景。傳統(tǒng)的語義分割方法重點(diǎn)關(guān)注的是手工提取的特征，在一定程度上取得了良好的分割效果，同時具有算法成本低的優(yōu)點(diǎn)。然而，傳統(tǒng)方法也存在一定的局限性，如手工提取的特征難免有疏漏，無法適用于復(fù)雜場景等等。卷積神經(jīng)網(wǎng)絡(luò)的成功極大地促進(jìn)了圖像分割領(lǐng)域的發(fā)展，特別是在2014年完全卷積網(wǎng)絡(luò)這一革命性思想被提出后，徹底改變了這一領(lǐng)域。之后，大多數(shù)的工作都是在此基礎(chǔ)上拓展。可以說，基于深度學(xué)習(xí)的方法在精度上優(yōu)于傳統(tǒng)方法。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的圖像分割方法可以自動提取圖像特征，不需要特征工程的先驗(yàn)知識。然而基于卷積神經(jīng)網(wǎng)絡(luò)的分割模型嚴(yán)重依賴于大量帶像素級標(biāo)注的數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，而像素級手工標(biāo)注工作較繁瑣和困難，往往需要耗費(fèi)大量的人力物力成本，并不適用于實(shí)際工程項(xiàng)目。如何利用只有少量帶標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)，高效準(zhǔn)確地實(shí)現(xiàn)語義分割仍是個充滿挑戰(zhàn)性的課題，因此本發(fā)明專注于基于半監(jiān)督學(xué)習(xí)深入研究圖像語義分割技術(shù)。

發(fā)明內(nèi)容

本發(fā)明提出一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法。基于對抗學(xué)習(xí)的語義分割模型包括兩個子網(wǎng)絡(luò)，即分割器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)。鑒別器的輸入數(shù)據(jù)類型有兩種，即分割器生成的分割預(yù)測標(biāo)簽以及真實(shí)標(biāo)簽。將分割器網(wǎng)絡(luò)看作是生成對抗網(wǎng)絡(luò)框架中的生成器，分割器的目的是盡可能生成接近真實(shí)標(biāo)簽的分布，混淆鑒別器，使得其無法區(qū)分。當(dāng)使用無標(biāo)記數(shù)據(jù)時，利用半監(jiān)督學(xué)習(xí)策略來訓(xùn)練分割網(wǎng)絡(luò)。從分割網(wǎng)絡(luò)獲得無標(biāo)簽圖像的初始分割預(yù)測之后，通過鑒別器網(wǎng)絡(luò)來計算置信度圖，該置信度圖表明預(yù)測的可信區(qū)域。反過來，將此置信度圖視為一種偽標(biāo)簽信號，指導(dǎo)分割網(wǎng)絡(luò)訓(xùn)練。通過交替訓(xùn)練分割器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)，分割器與鑒別器之間的極大極小博弈，最終學(xué)到一個比較好的分割網(wǎng)絡(luò)。

但是由于生成對抗網(wǎng)絡(luò)模型本身訓(xùn)練過程不穩(wěn)定，容易出現(xiàn)模式崩潰問題，這時鑒別器生成的置信圖變得不再可靠，會誤導(dǎo)分割網(wǎng)絡(luò)訓(xùn)練。因此本發(fā)明新增一個鑒別器D2，與原始生成對抗網(wǎng)絡(luò)中的鑒別器D1進(jìn)行反向?qū)褂?xùn)練。優(yōu)化鑒別器D1與D2目標(biāo)函數(shù)的過程，就是將對抗訓(xùn)練過程中優(yōu)化的KL散度和反向KL散度組合生成一個統(tǒng)一的目標(biāo)函數(shù)，利用這兩分支的散度的互補(bǔ)統(tǒng)計特性，在正向KL散度和反向KL散度之間追求一種穩(wěn)定平衡，從而有效地避免了重建過程中網(wǎng)絡(luò)模型的模型崩潰問題，保障了鑒別器對抗學(xué)習(xí)的有效性，提高了模型訓(xùn)練的穩(wěn)定性。為了進(jìn)一步提升置信圖的可靠性，本發(fā)明提出由鑒別器D1與D2共同提供置信圖。其中D1與D2仍然各自同分割網(wǎng)絡(luò)進(jìn)行極大極小值的博弈，只是訓(xùn)練方向相反。具體來說，D1會給符合真實(shí)標(biāo)簽分布的輸入給予高分獎勵，而D2旨在給分割網(wǎng)絡(luò)生成的預(yù)測標(biāo)簽高分獎勵。因此，要同時滿足鑒別器D1認(rèn)為符合真實(shí)標(biāo)簽分布且D2認(rèn)為符合預(yù)測標(biāo)簽分布的一致性條件，才向無標(biāo)簽數(shù)據(jù)提供置信圖進(jìn)行半監(jiān)督學(xué)習(xí)，保障了置信圖的可靠性。通過這個方法，提升了置信圖的質(zhì)量。因此，可以更有效地利用無標(biāo)簽數(shù)據(jù)，提升分割性能。

本發(fā)明提出一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法，模型訓(xùn)練采用的策略是雙鑒別器網(wǎng)絡(luò)與分割器網(wǎng)絡(luò)交替進(jìn)行訓(xùn)練，具體步驟如下：