[發(fā)明專利]圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110340411.5
• 申請日: 2021-03-30
• 公開（公告）號: CN113205451A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計）人: 黃慧娟;虞子澗;宋叢禮;鄭文;李旭輝;陳莉
• 申請（專利權(quán)）人: 北京達佳互聯(lián)信息技術(shù)有限公司;清華大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08;G06T7/194
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像和級聯(lián)摳圖模型，所述級聯(lián)摳圖模型包括與第一分辨率對應(yīng)的第一級聯(lián)網(wǎng)絡(luò)以及與第二分辨率對應(yīng)的第二級聯(lián)網(wǎng)絡(luò)；所述第二分辨率大于所述第一分辨率；

分別根據(jù)所述第一分辨率和所述第二分辨率，對所述待處理圖像進行采樣處理，得到第一級聯(lián)圖像和第二級聯(lián)圖像；

將所述第一級聯(lián)圖像輸入所述第一級聯(lián)網(wǎng)絡(luò)進行像素屬性特征提取處理，得到第一特征圖像；

根據(jù)所述第二分辨率對所述第一特征圖像進行上采樣處理，得到目標(biāo)上采樣特征圖像；

將所述目標(biāo)上采樣特征圖像和所述第二級聯(lián)圖像輸入所述第二級聯(lián)網(wǎng)絡(luò)進行圖像前景提取處理，得到第一目標(biāo)掩碼圖像；

根據(jù)所述第一目標(biāo)掩碼圖像，從所述待處理圖像中提取目標(biāo)前景圖像。

2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述級聯(lián)摳圖模型還包括至少一個中間級聯(lián)網(wǎng)絡(luò)，每個中間級聯(lián)網(wǎng)絡(luò)對應(yīng)一個中間分辨率；每個中間分辨率大于所述第一分辨率且小于所述第二分辨率；所述至少一個中間級聯(lián)網(wǎng)絡(luò)按照對應(yīng)的中間分辨率從低至高排序，其中，所述第一級聯(lián)網(wǎng)絡(luò)與最低中間分辨率對應(yīng)的中間級聯(lián)網(wǎng)絡(luò)連接，所述最高中間分辨率對應(yīng)的中間級聯(lián)網(wǎng)絡(luò)與所述第二級聯(lián)網(wǎng)絡(luò)連接；所述圖像處理方法還包括依次迭代以下步驟：

獲取當(dāng)前中間級聯(lián)網(wǎng)絡(luò)對應(yīng)的中間級聯(lián)圖像以及對應(yīng)的目標(biāo)中間分辨率，所述中間級聯(lián)圖像是基于所述目標(biāo)中間分辨率對所述待處理圖像進行采樣處理得到的；

獲取所述當(dāng)前中間級聯(lián)網(wǎng)絡(luò)的前一級聯(lián)網(wǎng)絡(luò)輸出的特征圖像；

根據(jù)所述目標(biāo)中間分辨率對所述前一級聯(lián)網(wǎng)絡(luò)輸出的特征圖像進行上采樣處理，得到第一上采樣特征圖像；

將所述中間級聯(lián)圖像和所述第一上采樣特征圖像作為所述當(dāng)前中間級聯(lián)網(wǎng)絡(luò)的輸入，進行像素屬性特征提取處理，得到目標(biāo)特征圖像。

3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述圖像處理方法還包括：

將所述最高中間分辨率對應(yīng)的中間級聯(lián)網(wǎng)絡(luò)的目標(biāo)特征圖像作為中間特征圖像；

根據(jù)所述第二分辨率對所述中間特征圖像進行上采樣處理，得到第二上采樣特征圖像；

將所述第二上采樣特征圖像和所述第二級聯(lián)圖像輸入所述第二級聯(lián)網(wǎng)絡(luò)進行圖像前景提取處理，得到第二目標(biāo)掩碼圖像；

根據(jù)所述第二目標(biāo)掩碼圖像，從所述待處理圖像中提取目標(biāo)前景圖像。

4.根據(jù)權(quán)利要求1-3中任一項所述的圖像處理方法，其特征在于，所述第一級聯(lián)網(wǎng)絡(luò)包括第一輸入卷積網(wǎng)絡(luò)、第一編解碼模塊和第一圖神經(jīng)網(wǎng)絡(luò)；所述將所述第一級聯(lián)圖像輸入所述第一級聯(lián)網(wǎng)絡(luò)進行像素屬性特征提取處理，得到第一特征圖像步驟包括：

將所述第一級聯(lián)圖像輸入所述第一輸入卷積網(wǎng)絡(luò)進行特征提取處理，得到第一卷積特征圖像；

將所述第一卷積特征圖像輸入所述第一編解碼模塊進行語義特征提取處理，得到第一編解碼特征圖像，所述第一編解碼特征圖像的分辨率為所述第一分辨率；

將所述第一編解碼特征圖像輸入所述第一圖神經(jīng)網(wǎng)絡(luò)，基于所述第一編解碼特征圖像中每個像素的相鄰像素對每個像素進行像素屬性特征更新處理，得到所述第一特征圖像。

5.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，所述將所述第一編解碼特征圖像輸入所述第一圖神經(jīng)網(wǎng)絡(luò)，基于所述第一編解碼特征圖像中每個像素的相鄰像素對每個像素進行像素屬性特征更新處理，得到所述第一特征圖像步驟包括：

對所述第一編解碼特征圖像進行相鄰像素坐標(biāo)偏移處理，得到每個像素的相鄰像素的坐標(biāo)偏移量；

根據(jù)所述第一編解碼特征圖像中每個像素的相鄰像素的初始坐標(biāo)信息和每個像素的相鄰像素的坐標(biāo)偏移量，得到每個像素的相鄰像素目標(biāo)坐標(biāo)信息；

基于所述每個像素的相鄰像素目標(biāo)坐標(biāo)信息，對所述第一編解碼特征圖像進行插值處理，得到插值特征圖像；

對所述插值特征圖像進行像素特征聚合處理，得到聚合特征圖像；

分別對所述第一編解碼特征圖像和所述聚合特征圖像進行線性處理，得到第一線性特征圖像和第二線性特征圖像；

對所述第一線性圖像和所述第二線性特征圖像作疊加處理，得到所述第一特征圖像。