[發(fā)明專利]一種基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法

有效

• 申請?zhí)枺?/td>: 202110734847.2
• 申請日: 2021-06-30
• 公開（公告）號: CN113469186B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 彭佳林;王玉柱;易佳錦;邱達(dá)飛
• 申請（專利權(quán)）人: 華僑大學(xué);華北水利水電大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V20/70;G06V10/82;G06N3/0455;G06N3/0495;G06N3/08
• 代理公司: 廈門市首創(chuàng)君合專利事務(wù)所有限公司 35204
• 代理人: 張松亭;李艾華

1.一種基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，利用已有完全標(biāo)注的源域圖像的知識和待分割的目標(biāo)域圖像的少量點(diǎn)標(biāo)注信息實(shí)現(xiàn)目標(biāo)域圖像的高性能分割，具體包括如下步驟：

S1:在有像素級標(biāo)記的源域圖像數(shù)據(jù)集上訓(xùn)練跨域遷移圖像分割模型；

S2:在有像素級標(biāo)記的源域圖像數(shù)據(jù)集上訓(xùn)練量化計(jì)數(shù)模型；

S3:結(jié)合源域和目標(biāo)域圖像數(shù)據(jù)集訓(xùn)練基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割模型，具體如下：

S31:將少量點(diǎn)標(biāo)注的目標(biāo)域圖像和完整像素級標(biāo)注的源域圖像輸入到源域數(shù)據(jù)上預(yù)訓(xùn)練的跨域遷移圖像分割模型中，得到相應(yīng)分割輸出作為域判別器的輸入，基于對抗學(xué)習(xí)的思想，判別器用來區(qū)分預(yù)測圖像來自源域還是目標(biāo)域，利用輸出空間的域判別器優(yōu)化跨域遷移圖像分割模型參數(shù)；

S32:將少量點(diǎn)標(biāo)注的目標(biāo)域圖像輸入到源域數(shù)據(jù)上預(yù)訓(xùn)練的跨域遷移圖像分割模型中，得到相應(yīng)空間計(jì)數(shù)輸出，利用語義分割子網(wǎng)絡(luò)的輸出挑選出可靠的偽背景信息，結(jié)合少量的目標(biāo)中心點(diǎn)像素進(jìn)行目標(biāo)域空間計(jì)數(shù)任務(wù)的學(xué)習(xí)；

S33:利用源域的量化計(jì)數(shù)模型學(xué)習(xí)目標(biāo)域上的量化計(jì)數(shù)任務(wù)；固定源域數(shù)據(jù)上預(yù)訓(xùn)練的量化計(jì)數(shù)模型網(wǎng)絡(luò)參數(shù)，將目標(biāo)域圖像輸入網(wǎng)絡(luò)中，得到目標(biāo)域圖像中的目標(biāo)估計(jì)數(shù)量，利用步驟S2中的量化計(jì)數(shù)模型對目標(biāo)域上的量化計(jì)數(shù)預(yù)測作出約束，進(jìn)行目標(biāo)域的量化計(jì)數(shù)任務(wù)的學(xué)習(xí)；

S34:保存跨域遷移圖像分割模型的模型參數(shù)，以用于新的目標(biāo)域圖像的分割預(yù)測。

2.如權(quán)利要求1所述的基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，在進(jìn)行圖像中的多目標(biāo)分割時(shí)，所述的少量點(diǎn)標(biāo)注指對目標(biāo)域圖像中少量目標(biāo)的中心點(diǎn)進(jìn)行標(biāo)注。

3.如權(quán)利要求2所述的基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，語義分割子網(wǎng)絡(luò)、空間計(jì)數(shù)子網(wǎng)絡(luò)和量化計(jì)數(shù)子網(wǎng)絡(luò)組成基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割模型；其中，語義分割子網(wǎng)絡(luò)與空間計(jì)數(shù)子網(wǎng)絡(luò)共享特征提取網(wǎng)絡(luò)參數(shù)；語義分割子網(wǎng)絡(luò)、空間計(jì)數(shù)子網(wǎng)絡(luò)和量化計(jì)數(shù)子網(wǎng)絡(luò)均采用解碼器-編碼器結(jié)構(gòu)，語義分割子網(wǎng)絡(luò)和空間計(jì)數(shù)子網(wǎng)絡(luò)分別進(jìn)行圖像的分割結(jié)果預(yù)測和空間計(jì)數(shù)預(yù)測，量化計(jì)數(shù)子網(wǎng)絡(luò)對空間計(jì)數(shù)的預(yù)測輸出進(jìn)行量化計(jì)數(shù)任務(wù)學(xué)習(xí)。

4.如權(quán)利要求3所述的基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，使用有像素級標(biāo)注的源域圖像對語義分割子網(wǎng)絡(luò)、空間計(jì)數(shù)子網(wǎng)絡(luò)和量化計(jì)數(shù)子網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練；

語義分割子網(wǎng)絡(luò)優(yōu)化目標(biāo)損失函數(shù)如下所示：

其中，表示求數(shù)學(xué)期望，x^s代表源域圖像，y^s為源域圖像對應(yīng)的像素級標(biāo)簽，c表示類別，表示源域圖像c類別的像素級標(biāo)簽；表示源域圖像經(jīng)過語義分割子網(wǎng)絡(luò)得到c類別的分割預(yù)測結(jié)果；

空間計(jì)數(shù)子網(wǎng)絡(luò)優(yōu)化目標(biāo)損失函數(shù)如下所示：

其中，為方差σ₁的高斯函數(shù)，g^s為點(diǎn)標(biāo)記圖r^s對應(yīng)的高斯點(diǎn)標(biāo)記圖，表示源域高斯點(diǎn)標(biāo)記圖像像素i對應(yīng)的像素值；權(quán)重圖為方差σ₂的高斯函數(shù)，表示權(quán)重圖β^s中像素i對應(yīng)的權(quán)重值；表示源域圖像像素i對應(yīng)的網(wǎng)絡(luò)預(yù)測輸出結(jié)果；λ為權(quán)重參數(shù)，K為圖像像素點(diǎn)總個(gè)數(shù)；

量化計(jì)數(shù)網(wǎng)絡(luò)優(yōu)化目標(biāo)損失函數(shù)如下所示：

其中，表示求數(shù)學(xué)期望，T^s代表線粒體真實(shí)數(shù)目，代表源域圖像經(jīng)過量化計(jì)數(shù)網(wǎng)絡(luò)的預(yù)測結(jié)果。

5.如權(quán)利要求4所述的基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，源域訓(xùn)練的量化計(jì)數(shù)模型與語義分割子網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同，使用語義分割子網(wǎng)絡(luò)和空間計(jì)數(shù)子網(wǎng)絡(luò)共享的特征提取網(wǎng)絡(luò)作為初始化參數(shù)，將最后的輸出經(jīng)過自適應(yīng)平均池化層得到最終輸出，使用相應(yīng)的目標(biāo)損失函數(shù)進(jìn)行訓(xùn)練。

6.如權(quán)利要求5所述的基于少量點(diǎn)標(biāo)注的跨域遷移圖像分割方法，其特征在于，語義分割子網(wǎng)絡(luò)與空間計(jì)數(shù)子網(wǎng)絡(luò)是使用源域的預(yù)訓(xùn)練模型初始化參數(shù)，然后同時(shí)使用少量點(diǎn)標(biāo)記的目標(biāo)域圖像與像素級標(biāo)記源域圖像進(jìn)行訓(xùn)練；量化計(jì)數(shù)子網(wǎng)絡(luò)只使用目標(biāo)域圖像進(jìn)行訓(xùn)練，源域的預(yù)訓(xùn)練量化計(jì)數(shù)模型固定其參數(shù)作為單獨(dú)的數(shù)量估計(jì)模型。