[發(fā)明專利]一種基于對抗學(xué)習(xí)的域自適應(yīng)圖像語義分割方法

在審

• 申請?zhí)枺?/td>: 201811059300.1
• 申請日: 2018-09-12
• 公開（公告）號: CN109190707A
• 公開（公告）日: 2019-01-11
• 發(fā)明（設(shè)計）人: 夏春秋
• 申請（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/66;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于對抗學(xué)習(xí)的域自適應(yīng)圖像語義分割方法，其特征在于，主要包括領(lǐng)域適應(yīng)(一)；網(wǎng)絡(luò)結(jié)構(gòu)(二)；輸出空間適應(yīng)(三)。

2.基于權(quán)利要求書1所述的域自適應(yīng)圖像語義分割方法，其特征在于，首先輸入源域和目標(biāo)域圖像，傳遞到分割網(wǎng)絡(luò)以預(yù)測源域和目標(biāo)域的分割輸出；由源輸出得到的源預(yù)測生成源域的分割損失；接著將輸出作為鑒別器網(wǎng)絡(luò)的輸入，生成對抗損失，再將對抗損失傳遞到分割網(wǎng)絡(luò)；最后通過最小化分割損失和最大化對抗損失，以生成滿足要求的像素級語義分割圖像。

3.基于權(quán)利要求書1所述的領(lǐng)域適應(yīng)(一)，其特征在于，主要包括源域和目標(biāo)域的圖像，分別表示為I_s和I_t，以及兩個損失函數(shù)的適應(yīng)任務(wù)，分別為和其中表示適應(yīng)由目標(biāo)域的預(yù)測分割對源域的預(yù)測分割的對抗損失，表示在源域中使用真實注釋的分割損失；領(lǐng)域適應(yīng)用于解決源域與目標(biāo)域之間的域移位，注釋只包含在源域圖像中。

4.基于權(quán)利要求1所述的網(wǎng)絡(luò)結(jié)構(gòu)(二)，其特征在于，主要包括分割網(wǎng)絡(luò)G和鑒別器網(wǎng)絡(luò)D_i；源域和目標(biāo)域圖像經(jīng)過分割網(wǎng)絡(luò)得到特征，在輸出空間具有高度相似性，基于對抗損失，分割模型旨在欺騙鑒別器，其目的是源圖像和目標(biāo)圖像在輸出空間產(chǎn)生相似分布。

5.基于權(quán)利要求書4所述的分割網(wǎng)絡(luò)，其特征在于，用于預(yù)測源域的輸出結(jié)果和目標(biāo)域的輸出結(jié)果，即源預(yù)測P_s和目標(biāo)預(yù)測P_t，經(jīng)過分割網(wǎng)絡(luò)獲得不同層次的分割特征，包括高層次特征和低層次特征，特征在輸出空間具有相似性；良好的基線模型是獲得高質(zhì)量的分割結(jié)果的前提，利用ImageNet的ReNet-101中DeepLab-v2框架作為分割基線模型，去除最后的分類層，將最后2個卷積層步幅由2改為1，Conv4和Conv5分別使用步幅為2和4的擴展卷積，添加暗黑空間金字塔池(ASPP)作為最終分類器，最后使用帶有softmax輸出的上采樣層以便匹配輸入圖像的尺寸。

6.基于權(quán)利要求書5所述的源預(yù)測P_s，其特征在于，將包含注釋的源域圖像I_s傳遞到分割網(wǎng)絡(luò)，以優(yōu)化分割損失并生成P_s，其中，P_s＝G(I_s)表示來自源域的分割預(yù)測，如下所示：

其中，表示基于源域的分割損失，w∈W、h∈H表示輸出圖像的尺寸，c∈C表示類別的數(shù)目。

7.基于權(quán)利要求書5所述的目標(biāo)預(yù)測P_t，其特征在于，在目標(biāo)預(yù)測上計算對抗損失，并將其傳播到分割網(wǎng)絡(luò)中；將目標(biāo)域圖像I_t傳遞到分割網(wǎng)絡(luò)生成P_t，其中P_t＝G(I_t)表示來自目標(biāo)域的分割預(yù)測；為使目標(biāo)預(yù)測與源預(yù)測更接近，優(yōu)化對抗損失如下所示：

其中，對抗損失在于將目標(biāo)預(yù)測作為源預(yù)測的可能性最大化，以此訓(xùn)練分割網(wǎng)絡(luò)和欺騙鑒別器。

8.基于權(quán)利要求書4所述的鑒別器網(wǎng)絡(luò)D_i，其特征在于，i表示在多級對抗學(xué)習(xí)中鑒別器的級別，利用所有完全卷積層保留空間信息，鑒別器網(wǎng)絡(luò)由5個卷積層組成，步幅為2，將泄露整流函數(shù)添加在前4層卷積層上，最后一層添加上采樣層以匹配輸入圖像的大小；給定分割softmax輸出P＝G(I)∈R^H×W×C，此時使用包含源和目標(biāo)兩個類別的交叉熵?fù)p失將P傳遞到完全卷積鑒別器D中，優(yōu)化如下所示：

其中，z為常數(shù)，當(dāng)z＝1時表示從目標(biāo)域中抽取樣本圖像，z＝0時表示從源域中抽取樣本圖像。

9.基于權(quán)利要求1所述的輸出空間適應(yīng)(三)，其特征在于，分割輸出包含豐富的信息，通過對抗學(xué)習(xí)，將相似性適應(yīng)低維softmax輸出的分割預(yù)測，最小化最大化對抗學(xué)習(xí)包含單層次對抗學(xué)習(xí)和多層次對抗學(xué)習(xí)。

10.基于權(quán)利要求書9所述的多層次對抗學(xué)習(xí)，其特征在于，多層次對抗網(wǎng)絡(luò)能夠在不同特征層次實現(xiàn)輸出空間的域自適應(yīng)；分割輸出在每個特征空間預(yù)測，然后通過個體鑒別器進行對抗學(xué)習(xí)；利用多級適應(yīng)模型，低層次特征遠離輸出，在輸出空間執(zhí)行對抗學(xué)習(xí)時不能直接適應(yīng)預(yù)測，因此在低層次特征空間附加對抗模塊，在Conv4上提取特征映射，并添加ASPP模塊作為輔助分類器，同時增加具有相同結(jié)構(gòu)的鑒別器用于對抗學(xué)習(xí)；因此，基于和的領(lǐng)域適應(yīng)目標(biāo)如下所示：

其中，i表示用于預(yù)測分割輸出的級別，λ_adv表示權(quán)重，用于平衡分割損失和對抗損失，優(yōu)化分割模型時，必須平衡λ_adv。