[發(fā)明專利]基于少量標(biāo)注框的深度圖像協(xié)同分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910813756.0
• 申請(qǐng)日: 2019-08-30
• 公開(kāi)（公告）號(hào): CN110675421B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 孟凡滿;鮑俊玲;黃開(kāi)旭;李宏亮;吳慶波
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T7/194
• 分類號(hào): G06T7/194;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 周劉英

本發(fā)明公開(kāi)了一種基于少量標(biāo)注框的深度圖像協(xié)同分割方法，屬于圖像處理領(lǐng)域。本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像協(xié)同分割網(wǎng)絡(luò)，僅利用圖像級(jí)標(biāo)簽和少量人工標(biāo)注框?qū)崿F(xiàn)圖像協(xié)同分割的方法。該方法不僅考慮了圖像的內(nèi)在信息，而且結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取的深度語(yǔ)義特征利用了圖像之間的相關(guān)性，使得在弱監(jiān)督學(xué)習(xí)情況下，圖像也能得到更加準(zhǔn)確的分割結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于圖像級(jí)標(biāo)簽和少量人工標(biāo)注框的深度圖像協(xié)同分割方法。

背景技術(shù)

圖像分割是圖像處理領(lǐng)域的一個(gè)基礎(chǔ)研究，也是計(jì)算機(jī)視覺(jué)領(lǐng)域中的關(guān)鍵步驟。圖像分割技術(shù)在無(wú)人駕駛、智能醫(yī)療、醫(yī)學(xué)影像分析、遙感氣象服務(wù)、軍事工程等領(lǐng)域有著廣泛的應(yīng)用。圖像分割技術(shù)是依據(jù)語(yǔ)義信息將圖像分成若干個(gè)對(duì)象區(qū)域，是圖像分析的第一步，也是關(guān)鍵性的一步。

圖像協(xié)同分割是圖像分割的重要分支。圖像協(xié)同分割致力于從一組圖像中提取出共同的對(duì)象區(qū)域，可廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)及多媒體處理中,近期受到了廣泛的關(guān)注。然而由于目標(biāo)信息不足且存在的諸多信息干擾，圖像協(xié)同分割是一個(gè)具有挑戰(zhàn)性的工作。特別是在前景多變和背景復(fù)雜的情況下，如何有效地構(gòu)建圖像協(xié)同分割模型、實(shí)現(xiàn)語(yǔ)義區(qū)域相似性度量已經(jīng)成為了計(jì)算機(jī)視覺(jué)和人工智能研究的迫切需求。

圖像協(xié)同分割旨在從一組圖像中提取出相似的對(duì)象區(qū)域，難點(diǎn)在于模型的建立和優(yōu)化、局部區(qū)域前景一致性的衡量、共同對(duì)象信息的提取等。傳統(tǒng)的協(xié)同分割方法采用人工設(shè)計(jì)的特征，很難刻畫區(qū)域的語(yǔ)義性，無(wú)法有效衡量區(qū)域的一致性。在復(fù)雜背景下很難實(shí)現(xiàn)對(duì)象的語(yǔ)義協(xié)同分割。例如，大多數(shù)最近提出的圖像協(xié)同分割方法仍然依賴于圖像的顏色、形狀、紋理等特征。這些底層且不包含語(yǔ)義信息的圖像特征很難協(xié)同分割有一定挑戰(zhàn)性的圖像協(xié)同分割工作。

卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)在很多領(lǐng)域?qū)崿F(xiàn)了性能的顯著突破，包括目標(biāo)檢測(cè)、目標(biāo)分類、語(yǔ)音識(shí)別、目標(biāo)定位以及視頻生成等等。由于卷積神經(jīng)網(wǎng)絡(luò)包含千百萬(wàn)的網(wǎng)絡(luò)參數(shù)，能夠自動(dòng)地學(xué)習(xí)不同層次和結(jié)構(gòu)中的圖像特征。相比傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)抽象學(xué)習(xí)到的特征包含很強(qiáng)的語(yǔ)義信息，并且對(duì)對(duì)象目標(biāo)的形狀大小、空間位置以及方向的變化等具有非常強(qiáng)的魯棒性。卷積神經(jīng)網(wǎng)絡(luò)使得機(jī)器能更好地學(xué)習(xí)輸入與輸出之間的映射關(guān)系，并通過(guò)充分學(xué)習(xí)自動(dòng)生成最優(yōu)特征，很好地替代了人工選擇特征的過(guò)程。因?yàn)檫@些優(yōu)點(diǎn)，卷積神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域中得到了越來(lái)越多的重視。

目前，現(xiàn)存的圖像協(xié)同分割方法很難實(shí)現(xiàn)復(fù)雜圖像的協(xié)同分割，因此圖像協(xié)同分割算法結(jié)合卷積神經(jīng)網(wǎng)絡(luò)將是實(shí)現(xiàn)復(fù)雜圖像協(xié)同分割算法的一個(gè)有效方法。但是，現(xiàn)存的卷積神經(jīng)網(wǎng)絡(luò)需要大量的人工標(biāo)注數(shù)據(jù)，而圖像協(xié)同分割算法僅僅包含圖像級(jí)粗糙標(biāo)簽，很難提供豐富且準(zhǔn)確的訓(xùn)練樣本，與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合實(shí)現(xiàn)圖像協(xié)同分割是一個(gè)困難的工作。

發(fā)明內(nèi)容

本發(fā)明的發(fā)明目的在于：針對(duì)上述存在的問(wèn)題，提供一種只利用很少量的人工標(biāo)注框便能實(shí)現(xiàn)較好圖像分割結(jié)果的方法，根據(jù)圖像內(nèi)在信息和圖像之間的信息實(shí)現(xiàn)弱監(jiān)督圖像協(xié)同分割。

本發(fā)明的基于少量標(biāo)注框的深度圖像協(xié)同分割方法，包括下列步驟：

步驟1：設(shè)置深度圖像協(xié)同分割網(wǎng)絡(luò)：

所述深度圖像協(xié)同分割網(wǎng)絡(luò)包括兩個(gè)分支，第一分支網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和分割網(wǎng)絡(luò)；第二分支網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，兩個(gè)分支網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同；

所述特征提取網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于提取輸入圖像的深度特征；

所述分割網(wǎng)絡(luò)也采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于基于特征提取網(wǎng)絡(luò)提取的深度特征，對(duì)輸入圖像進(jìn)行前景分割，得到分割結(jié)果；

步驟2：對(duì)深度圖像協(xié)同分割網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)訓(xùn)練：