[發(fā)明專(zhuān)利]基于少量標(biāo)注框的深度圖像協(xié)同分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910813756.0
• 申請(qǐng)日: 2019-08-30
• 公開(kāi)（公告）號(hào): CN110675421B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 孟凡滿(mǎn);鮑俊玲;黃開(kāi)旭;李宏亮;吳慶波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06T7/194
• 分類(lèi)號(hào): G06T7/194;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專(zhuān)利中心 51203
• 代理人: 周劉英

1.基于少量標(biāo)注框的深度圖像協(xié)同分割方法，其特征在于，包括下列步驟：

步驟1：設(shè)置深度圖像協(xié)同分割網(wǎng)絡(luò)：

所述深度圖像協(xié)同分割網(wǎng)絡(luò)包括兩個(gè)分支，第一分支網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和分割網(wǎng)絡(luò)；第二分支網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，兩個(gè)分支網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同；

所述特征提取網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于提取輸入圖像的深度特征；

所述分割網(wǎng)絡(luò)也采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于基于特征提取網(wǎng)絡(luò)提取的深度特征，對(duì)輸入圖像進(jìn)行前景分割，得到分割結(jié)果；

步驟2：對(duì)深度圖像協(xié)同分割網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)訓(xùn)練：

基于待分割的類(lèi)別需求，設(shè)置包括所有需求類(lèi)別的圖像集S，并從圖像集S中為每種圖像類(lèi)別選擇一定數(shù)量的樣本圖像，得到圖像集S1，并對(duì)選擇出的樣本圖像給出表示前景區(qū)域的標(biāo)注框；其中，選取的樣本圖像數(shù)量遠(yuǎn)小于待分割處理的圖像集；

對(duì)圖像集S與圖像集S1包括的所有圖像進(jìn)行圖像預(yù)處理，包括圖像灰度化和尺寸歸一化處理；

初始化深度圖像協(xié)同分割網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，將圖像集S1及其標(biāo)注框作為深度圖像協(xié)同分割網(wǎng)絡(luò)的第一分支網(wǎng)絡(luò)的輸入；圖像集S作為第二分支網(wǎng)絡(luò)的輸入；

基于每條分支網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)的輸出，得到輸入圖像的深度特征；基于每條分支網(wǎng)絡(luò)的分割網(wǎng)絡(luò)的輸出，得到輸入圖像的分割結(jié)果；

并設(shè)置深度圖像協(xié)同分割網(wǎng)絡(luò)的損失函數(shù)L為：交叉熵?fù)p失函數(shù)L_c和相似性損失函數(shù)sim的加權(quán)和；

其中，L_c＝∑_xy(x)log(y⁰(x))+(1-y(x))log(1-y⁰(x))，y⁰表示第一個(gè)分支網(wǎng)絡(luò)的輸出的分割結(jié)果，y表示標(biāo)注框，x表示輸入圖像的像素；

相似性損失函數(shù)sim的計(jì)算過(guò)程為：

將兩條分支網(wǎng)絡(luò)的分割網(wǎng)絡(luò)輸出的分割結(jié)果分別下采樣到與其特征提取網(wǎng)絡(luò)輸出的深度特征尺寸相同后，再分別將每條分支網(wǎng)絡(luò)的分割結(jié)果與深度特征進(jìn)行匹配處理，得到匹配后的第一分支深度特征和第二分支深度特征；

其中匹配處理為：

將下采樣后的分割結(jié)果中的0和非0的像素位置對(duì)應(yīng)到深度特征相應(yīng)的位置，其中，0像素對(duì)應(yīng)位置為深度特征的背景特征，非0的像素對(duì)應(yīng)位置為深度特征的前景特征；

將匹配后的第一分支深度特征中的每個(gè)前景特征與第二分支深度特征中的每個(gè)前景特征求歐式距離，所有歐式距離求和再求平均，得到參數(shù)將第二分支深度特征中的每個(gè)前景特征與每個(gè)背景特征求歐式距離，所有歐式距離求和再求平均，得到參數(shù)并根據(jù)公式計(jì)算得到相似性損失函數(shù)sim；

在深度圖像協(xié)同分割網(wǎng)絡(luò)的深度學(xué)習(xí)訓(xùn)練過(guò)程中，設(shè)置的收斂條件為：最近兩次輸出的損失函數(shù)L的變化率不超過(guò)預(yù)設(shè)的變化率閾值時(shí)，停止訓(xùn)練；

步驟3：對(duì)待分割圖像進(jìn)行圖像預(yù)處理，包括圖像灰度化和尺寸歸一化處理；

將預(yù)處理后的待分割圖像輸入到訓(xùn)練好的深度圖像協(xié)同分割網(wǎng)絡(luò)，并對(duì)深度圖像協(xié)同分割網(wǎng)絡(luò)輸出的分割結(jié)果進(jìn)行尺寸變換到待分割圖像的原圖大小，作為待分割圖像的分割結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，計(jì)算損失函數(shù)L時(shí)，交叉熵?fù)p失函數(shù)L_c和相似性損失函數(shù)sim的權(quán)重均設(shè)置為1。

3.如權(quán)利要求1所述的方法，其特征在于，在深度圖像協(xié)同分割網(wǎng)絡(luò)的深度學(xué)習(xí)訓(xùn)練過(guò)程中，變化率閾值設(shè)置為3*10^-4。

4.如權(quán)利要求1所述的方法，其特征在于，特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)采用16層卷積的VGG。