[發(fā)明專利]一種基于注意力的聯(lián)合圖像與特征自適應(yīng)的語義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110452783.7
• 申請(qǐng)日: 2021-04-26
• 公開（公告）號(hào): CN113205096B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 杜博;劉菊華;鐘起煌;肖李方安
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V10/26
• 分類號(hào): G06V10/26;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于注意力的聯(lián)合圖像與特征自適應(yīng)的語義分割方法，其特征在于：構(gòu)建了一種跨模態(tài)圖像語義分割領(lǐng)域自適應(yīng)聯(lián)合框架，包括圖像自適應(yīng)器和特征自適應(yīng)器，采用圖像自適應(yīng)器和特征自適應(yīng)器分別從圖像外觀和特征空間兩方面逐步縮小源域圖像和目標(biāo)域圖像的領(lǐng)域差異，并在特征自適應(yīng)器中引入注意力模塊，使其能夠捕獲重要區(qū)域的關(guān)鍵特征，最后使用端到端的方式將圖像自適應(yīng)器與特征自適應(yīng)連接在一起，具體包括如下步驟：

步驟(1)，利用圖像自適應(yīng)器對(duì)源域圖像進(jìn)行圖像風(fēng)格轉(zhuǎn)換，在不改變圖像內(nèi)容的前提下，將源域圖像轉(zhuǎn)換為與目標(biāo)域圖像外觀相似的類目標(biāo)圖像；

步驟(2)，使用特征自適應(yīng)器分別在語義預(yù)測(cè)空間和圖像生成空間中對(duì)齊類目標(biāo)圖像和目標(biāo)圖像之間的特征，以提取到領(lǐng)域不變特征；

步驟(3)，在特征自適應(yīng)器中引入注意力模塊，所述注意力模塊由池化層、上采樣層、卷積層和Sigmoid激活層組成；

步驟(4)，使用端到端的方式將圖像自適應(yīng)器和特征自適應(yīng)器連接在一起，得到領(lǐng)域自適應(yīng)聯(lián)合框架，最終通過訓(xùn)練得到魯棒性強(qiáng)的高性能圖像分割模型。

2.如權(quán)利要求1所述的一種基于注意力的聯(lián)合圖像與特征自適應(yīng)的語義分割方法，其特征在于：所述步驟(1)中使用圖像自適應(yīng)器對(duì)源域圖像進(jìn)行圖像風(fēng)格轉(zhuǎn)換的具體實(shí)施方式如下，

11)首先，將源域圖像X_s輸入到對(duì)抗神經(jīng)網(wǎng)絡(luò)GAN的生成器G_T中，以生成類目標(biāo)域圖像X_s-t，并使用對(duì)抗神經(jīng)網(wǎng)絡(luò)中與G_T相對(duì)應(yīng)的判別器D_T對(duì)X_s-t進(jìn)行判別，判斷該圖像是真實(shí)的目標(biāo)域圖像，還是轉(zhuǎn)換得到的類目標(biāo)域圖像，該GAN的損失函數(shù)記為具體如公式(1)所示：

其中，SD和TD分別表示源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集，X_t表示真實(shí)的目標(biāo)域圖像；

12)然后，將目標(biāo)域圖像X_t送入另一個(gè)生成器G_S中，從而將目標(biāo)圖像X_t轉(zhuǎn)換為類原域圖像X_t-s，并使用對(duì)應(yīng)的判別器D_S進(jìn)行判別，不同于過程1)中生成器G_T，生成器G_S由兩個(gè)單獨(dú)的網(wǎng)絡(luò)模塊組成，即G_S表示為其中F和T分別表示特征提取器和特征解碼器，該過程中損失函數(shù)記為具體如公式(2)所示：

13)使用循環(huán)一致性約束對(duì)圖像轉(zhuǎn)換過程進(jìn)行指導(dǎo)，具體而言，循環(huán)一致性約束分為前向一致性約束和反向一致性約束，前向一致性約束保證X_s在圖像轉(zhuǎn)換為X_s-t之后能夠通過圖像轉(zhuǎn)換重新回到X_s，即表示為：X_s→G_T(X_s)＝X_s-t→T(F(G_T(X_s)))＝X_s-t-s；同樣的，反向一致性約束能夠保證X_t在圖像轉(zhuǎn)換為X_t-s之后能夠通過圖像轉(zhuǎn)換重新回到X_t，即表示為：X_t→T(F(X_t))＝X_t-s→G_T(T(F(X_t)))＝X_t-s-t；循環(huán)一致性約束記為具體如公式(3)所示：

其中，和分別表示前向一致性約束和反向一致性約束；‖·‖₁表示L1范數(shù)；

14)最后，在得到類目標(biāo)域圖像X_s-t之后，即可將其輸入到分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，具體而言，分割網(wǎng)絡(luò)由上述過程中使用的特征提取器F和新引入的分類器C組成，可表示為隨后，使用X_s-t和其對(duì)應(yīng)的標(biāo)簽Y_s即可訓(xùn)練得到圖像分割模型，該分割模型的目標(biāo)函數(shù)如公式(4)所示：

其中，CE(·)表示交叉熵?fù)p失；Dice(·)表示Dice損失；P_s-t為分割模型對(duì)X_s-t的預(yù)測(cè)結(jié)果。