[發(fā)明專利]一種基于圖像修復(fù)技術(shù)的弱監(jiān)督語(yǔ)義分割方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010129164.X
• 申請(qǐng)日: 2020-02-28
• 公開（公告）號(hào): CN111369572B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 李秀;宋愷祥
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳國(guó)際研究生院
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/187;G06T5/00;G06T5/50;G06V10/764;G06N3/0464;G06F3/048;G06V10/82;G06N3/08
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

一種基于圖像修復(fù)技術(shù)的弱監(jiān)督語(yǔ)義分割方法和裝置，該方法包括如下步驟：S1、將原始圖像輸入到分割網(wǎng)絡(luò)中，通過(guò)分割網(wǎng)絡(luò)產(chǎn)生并輸出原始圖像中的物體的分割掩碼；S2、對(duì)分割網(wǎng)絡(luò)產(chǎn)生的分割掩碼分別進(jìn)行腐蝕和膨脹操作；S3、分別用經(jīng)腐蝕和膨脹操作后的分割掩碼對(duì)原始圖像進(jìn)行擦除；S4、使用孿生的圖像修復(fù)網(wǎng)絡(luò)對(duì)經(jīng)擦除的兩張?jiān)紙D像分別進(jìn)行修復(fù)；S5、使用經(jīng)過(guò)預(yù)訓(xùn)練的孿生的分類網(wǎng)絡(luò)將修復(fù)后的兩張圖像分別進(jìn)行分類，獲得兩張圖像屬于各個(gè)類別的可能性向量，使用不同的損失函數(shù)約束訓(xùn)練，訓(xùn)練完成后，使用分割網(wǎng)絡(luò)接收原始圖像并輸出預(yù)測(cè)結(jié)果。本發(fā)明可實(shí)現(xiàn)處理運(yùn)算簡(jiǎn)化，實(shí)現(xiàn)了端到端的框架，可擴(kuò)展性較強(qiáng)，且性能提升的空間大。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別技術(shù)，特別是一種基于圖像修復(fù)技術(shù)的弱監(jiān)督語(yǔ)義分割方法和裝置。

背景技術(shù)

在計(jì)算機(jī)視覺領(lǐng)域，圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)義分割是經(jīng)典的任務(wù)，圖像識(shí)別告訴人們圖像中的物體是什么，目標(biāo)檢測(cè)定位目標(biāo)所在的位置，而語(yǔ)義分割則是從像素級(jí)別回答以上兩個(gè)問(wèn)題，在地理信息系統(tǒng)，自動(dòng)駕駛、醫(yī)療影像輔助診斷以及智能機(jī)器人等領(lǐng)域具有非常廣泛而重要的應(yīng)用，而得到語(yǔ)義分割模型需要大量像素級(jí)標(biāo)注的訓(xùn)練樣本，時(shí)間成本和人力成本很高，能否用更容易獲取的標(biāo)簽數(shù)據(jù)進(jìn)行弱監(jiān)督的語(yǔ)義分割成為眾多研究者感興趣的問(wèn)題。例如使用邊界框、線條、點(diǎn)，甚至不用位置信息標(biāo)注，僅僅使用圖像級(jí)別的分類標(biāo)簽就可以實(shí)現(xiàn)語(yǔ)義分割。本發(fā)明的任務(wù)就是在僅有像素級(jí)分類標(biāo)簽的情況下，實(shí)現(xiàn)物體的弱監(jiān)督語(yǔ)義分割。

目前，大多數(shù)弱監(jiān)督語(yǔ)義分割領(lǐng)域依舊停留在學(xué)術(shù)研究階段，能夠應(yīng)用的落地場(chǎng)景很少。不過(guò)我們現(xiàn)在發(fā)現(xiàn)一個(gè)趨勢(shì)，以CAM為代表的弱監(jiān)督方法在某些應(yīng)用場(chǎng)景下已經(jīng)可以達(dá)到很好的應(yīng)用效果，分類網(wǎng)絡(luò)可以通過(guò)自上而下的方式定位出圖片上的哪些區(qū)域?qū)ξ矬w分類的貢獻(xiàn)較大，而這些區(qū)域往往屬于對(duì)應(yīng)語(yǔ)義的物體。然而，CAM方法的主要問(wèn)題在于它只能發(fā)現(xiàn)最具判別力的一些物體區(qū)域(比如狗的頭部)，這些區(qū)域往往屬于目標(biāo)物體的某個(gè)部分并且分布稀疏。這同語(yǔ)義分割需要定位完整物體的目標(biāo)并不一致。

2017年CVPR上為定位較為完整的物體，提出了一種Adversarial?Erasing的方法。通過(guò)不斷擦除物體上最具判別力的一些區(qū)域，使得分類網(wǎng)絡(luò)發(fā)現(xiàn)更多的物體的其它區(qū)域，通過(guò)三次左右迭代獲得整體的分割結(jié)果。

2018年CVPR上提出一種更簡(jiǎn)單的方式獲得了更好的定位結(jié)果。物體的某個(gè)區(qū)域之所以會(huì)被定位出來(lái)，其實(shí)是因?yàn)檫@部分特征的判別力較強(qiáng)。如果這部分判別力較強(qiáng)的特征可以遷移到物體的其它區(qū)域，那么其它判別力較弱的區(qū)域也有可能被定位出來(lái)。這個(gè)想法可以很容易的通過(guò)加寬卷積(dilated?convolution)的方式實(shí)現(xiàn)。

有的方法使用CAM獲取最區(qū)分性的響應(yīng)作為最初始的種子區(qū)域，然后通過(guò)擴(kuò)張種子區(qū)域的方式使得監(jiān)督逐漸變強(qiáng)。但是這些方法很難形成端到端的框架，而且流程較為繁瑣，都需要多次擴(kuò)充和更新監(jiān)督信息，進(jìn)行多輪訓(xùn)練。

發(fā)明內(nèi)容

為了上述技術(shù)缺陷中的至少一種，本發(fā)明提供一種基于圖像修復(fù)技術(shù)的弱監(jiān)督語(yǔ)義分割方法和裝置。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于圖像修復(fù)技術(shù)的弱監(jiān)督語(yǔ)義分割方法，包括如下步驟：

S1、將原始圖像輸入到分割網(wǎng)絡(luò)中，通過(guò)所述分割網(wǎng)絡(luò)產(chǎn)生并輸出所述原始圖像中的物體的分割掩碼；

S2、對(duì)所述分割網(wǎng)絡(luò)產(chǎn)生的所述分割掩碼分別進(jìn)行腐蝕和膨脹操作；

S3、分別用經(jīng)腐蝕和膨脹操作后的分割掩碼對(duì)所述原始圖像進(jìn)行擦除；

S4、使用孿生的圖像修復(fù)網(wǎng)絡(luò)對(duì)經(jīng)擦除的兩張?jiān)紙D像分別進(jìn)行修復(fù)，輸出修復(fù)后的兩張圖像；