[發(fā)明專利]一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法

在審

• 申請?zhí)枺?/td>: 202011189232.8
• 申請日: 2020-10-30
• 公開（公告）號: CN114445626A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 林風(fēng)龍;鄭慧誠;梁凡
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法，其特征在于：

(1)數(shù)據(jù)準(zhǔn)備和預(yù)處理。該方法分為訓(xùn)練與測試兩個階段。在訓(xùn)練階段從需要進行語義分割的應(yīng)用領(lǐng)域采集訓(xùn)練圖像樣本，從中隨機選擇少量圖像進行像素級分割標(biāo)注，并經(jīng)過獨熱編碼處理成真實類概率圖，其余訓(xùn)練樣本無需進行標(biāo)注，為無標(biāo)簽樣本。在測試階段，訓(xùn)練完成的模型可用于對應(yīng)用領(lǐng)域中采集的待分割圖像進行語義分割。

(2)訓(xùn)練過程采用的策略是雙鑒別器網(wǎng)絡(luò)與分割器網(wǎng)絡(luò)進行交替訓(xùn)練，在每一輪的訓(xùn)練過程中，首先將帶標(biāo)簽數(shù)據(jù)輸入進分割器網(wǎng)絡(luò)，得到預(yù)測類概率圖，將真實類概率圖與預(yù)測類概率圖進行線性混合作為雙鑒別器的訓(xùn)練數(shù)據(jù)，同樣的，相應(yīng)標(biāo)簽也作線性混合處理。訓(xùn)練鑒別器的目的是學(xué)會區(qū)分輸入數(shù)據(jù)的類型，提升鑒別器“鑒真?zhèn)巍钡哪芰Γ⑤敵隹臻g置信圖，鑒別器D1的輸出置信圖上的每個像素p代表其來自真實標(biāo)簽的概率，而D2的輸出置信圖上的每個像素p代表其來自預(yù)測類標(biāo)簽的概率。

(3)接著使用帶標(biāo)簽數(shù)據(jù)訓(xùn)練分割網(wǎng)絡(luò)，此時分割網(wǎng)絡(luò)受到基于真實類概率圖的交叉熵損失以及基于雙鑒別器的對抗損失的共同監(jiān)督，訓(xùn)練分割器模型，是為了生成接近于真實標(biāo)簽分布的預(yù)測標(biāo)簽分布，達到欺騙鑒別器的目的。

(4)經(jīng)過多輪的分割器網(wǎng)絡(luò)與鑒別器網(wǎng)絡(luò)交替訓(xùn)練后，加入無標(biāo)簽數(shù)據(jù)，繼續(xù)訓(xùn)練分割器網(wǎng)絡(luò)與鑒別器網(wǎng)絡(luò)，將鑒別器D1與D2輸出的置信圖分別經(jīng)過設(shè)定的閾值進行二值化處理，得到兩個不同的置信度區(qū)域，將兩個置信度區(qū)域的交集作為一種可信賴的偽標(biāo)簽，提供給無標(biāo)簽數(shù)據(jù)計算交叉熵損失，因此，此時半監(jiān)督分割網(wǎng)絡(luò)同時受到基于標(biāo)準(zhǔn)交叉熵損失、基于偽標(biāo)簽交叉熵損失以及基于鑒別器的對抗損失三者的共同監(jiān)督。

(5)通過鑒別器與分割器網(wǎng)絡(luò)之間的不斷博弈，交替迭代訓(xùn)練，提升模型性能，訓(xùn)練結(jié)束后，保存分割器模型參數(shù)，用于推理測試，通過計算常用的分割指標(biāo)，即平均交并比，分析模型分割性能。

2.根據(jù)權(quán)利要求1所述的一種基于雙判別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法，其特征是：該方法的整體框架是一個D2GAN模型，即雙鑒別器生成對抗網(wǎng)絡(luò)，由生成器網(wǎng)絡(luò)和兩個鑒別器網(wǎng)絡(luò)組成；訓(xùn)練過程包含四部分損失函數(shù)，分別是雙鑒別器損失、基于真實標(biāo)簽的多分類交叉熵損失、基于偽標(biāo)簽的多分類交叉熵損失以及基于雙鑒別器的對抗損失。基于真實標(biāo)簽的交叉熵損失指導(dǎo)帶標(biāo)簽數(shù)據(jù)訓(xùn)練分割網(wǎng)絡(luò)，基于偽標(biāo)簽的交叉熵損失指導(dǎo)無標(biāo)簽數(shù)據(jù)訓(xùn)練分割網(wǎng)絡(luò)，而基于鑒別器的對抗損失的共同監(jiān)督、雙鑒別器損失則是分割器與鑒別器在進行極大極小互相博弈對抗訓(xùn)練，并最終達到納什均衡，得到最佳分割器模型。

3.根據(jù)權(quán)利要求1所述的一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法，其特征在于：

由鑒別器D1與D2共同提供置信圖。其中D1與D2仍然各自同分割網(wǎng)絡(luò)進行極大極小值的博弈，只是訓(xùn)練方向相反，具體來說，D1會給符合真實標(biāo)簽分布的輸入給予高分獎勵，而D2旨在給分割網(wǎng)絡(luò)生成的預(yù)測標(biāo)簽高分獎勵，因此，要同時滿足D1認為符合真實標(biāo)簽分布且D2認為符合預(yù)測標(biāo)簽分布的一致性條件，才向無標(biāo)簽數(shù)據(jù)提供置信圖進行半監(jiān)督學(xué)習(xí)，保障了置信圖的可靠性，通過這個方法，提升了置信圖的質(zhì)量，因此，可以更有效地利用無標(biāo)簽數(shù)據(jù)，提升了分割性能。

4.根據(jù)權(quán)利要求1所述的一種基于雙鑒別器對抗學(xué)習(xí)的半監(jiān)督圖像語義分割方法，其特征在于：將經(jīng)過獨熱編碼的真實類概率圖與帶標(biāo)簽數(shù)據(jù)的預(yù)測類概率圖進行mixup操作，隨機加權(quán)融合一起，作為鑒別器D1與D2的訓(xùn)練數(shù)據(jù)，其中真實類概率圖所占比重為0到1之間服從均勻分布的隨機值ω，并且每一次迭代訓(xùn)練都賦予新的隨機值，同時把鑒別器D1損失函數(shù)的目標(biāo)值替換為這個隨機值ω，代表它來自真實標(biāo)簽的概率為ω，而把D2損失函數(shù)的目標(biāo)值替換為1-ω，為預(yù)測類概率圖的所占比重，代表它來自預(yù)測標(biāo)簽的概率為1-ω。優(yōu)化鑒別器D1與D2目標(biāo)函數(shù)的過程，目的是對抗訓(xùn)練過程中優(yōu)化的KL散度和反向KL散度組合生成一個統(tǒng)一的目標(biāo)函數(shù)，利用這兩分支的散度的互補統(tǒng)計特性，在正向KL散度和反向KL散度之間追求一種穩(wěn)定平衡，從而有效地避免了重建過程中網(wǎng)絡(luò)模型的模型崩潰問題，保障了鑒別器對抗學(xué)習(xí)的有效性，提高了模型訓(xùn)練的穩(wěn)定性。