[發明專利]圖像處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110340411.5
• 申請日: 2021-03-30
• 公開（公告）號: CN113205451A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 黃慧娟;虞子澗;宋叢禮;鄭文;李旭輝;陳莉
• 申請（專利權）人: 北京達佳互聯信息技術有限公司;清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08;G06T7/194
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本公開關于一種圖像處理方法、裝置、電子設備及存儲介質。該方法包括：獲取待處理圖像和級聯摳圖模型，分別根據第一分辨率和大于第一分辨率的第二分辨率對待處理圖像進行采樣處理，得到第一級聯圖像和第二級聯圖像；將第一級聯圖像輸入第一級聯網絡進行像素屬性特征提取處理，得到第一特征圖像；根據第二分辨率對第一特征圖像進行上采樣處理，得到目標上采樣特征圖像；將目標上采樣特征圖像和第二級聯圖像輸入第二級聯網絡進行圖像前景提取處理，得到第一目標掩碼圖像以用于從待處理圖像中提取目標前景圖像。根據本公開提供的技術方案，可以從低分辨率至高分辨進行摳圖，提高摳圖精度。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及一種圖像處理方法、裝置、電子設備及存儲介質。

背景技術

隨著多媒體的蓬勃發展，對多媒體的處理，例如對圖像或視頻的背景進行替換等，一般基于摳圖技術，實現對圖像或視頻的背景進行替換。相關技術中，利用三分圖方法或全自動摳圖方法(基于機器學習的方法)實現對圖像或視頻的背景進行替換，但三分圖方法的摳圖效果受三分圖質量的影響較大；而全自動摳圖方法在前景與背景的特征較接近時，在前景與背景的交界區域易發生誤判。因此，三分圖方法或全自動摳圖方法的摳圖精度均較低，不能滿足現有摳圖需求。

發明內容

本公開提供一種圖像處理方法、裝置、電子設備及存儲介質，以至少解決相關技術中如何提高摳圖效率和摳圖效果的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種圖像處理方法，包括：

獲取待處理圖像和級聯摳圖模型，所述級聯摳圖模型包括與第一分辨率對應的第一級聯網絡以及與第二分辨率對應的第二級聯網絡；所述第二分辨率大于所述第一分辨率；

分別根據所述第一分辨率和所述第二分辨率，對所述待處理圖像進行采樣處理，得到第一級聯圖像和第二級聯圖像；

將所述第一級聯圖像輸入所述第一級聯網絡進行像素屬性特征提取處理，得到第一特征圖像；

根據所述第二分辨率對所述第一特征圖像進行上采樣處理，得到目標上采樣特征圖像；

將所述目標上采樣特征圖像和所述第二級聯圖像輸入所述第二級聯網絡進行圖像前景提取處理，得到第一目標掩碼圖像；

根據所述第一目標掩碼圖像，從所述待處理圖像中提取目標前景圖像。

在一種可能的實現方式中，所述級聯摳圖模型還包括至少一個中間級聯網絡，每個中間級聯網絡對應一個中間分辨率；每個中間分辨率大于所述第一分辨率且小于所述第二分辨率；所述至少一個中間級聯網絡按照對應的中間分辨率從低至高排序，其中，所述第一級聯網絡與最低中間分辨率對應的中間級聯網絡連接，所述最高中間分辨率對應的中間級聯網絡與所述第二級聯網絡連接；所述圖像處理方法還包括依次迭代以下步驟：

獲取當前中間級聯網絡對應的中間級聯圖像以及對應的目標中間分辨率，所述中間級聯圖像是基于所述目標中間分辨率對所述待處理圖像進行采樣處理得到的；

獲取所述當前中間級聯網絡的前一級聯網絡輸出的特征圖像；

根據所述目標中間分辨率對所述前一級聯網絡輸出的特征圖像進行上采樣處理，得到第一上采樣特征圖像；

將所述中間級聯圖像和所述第一上采樣特征圖像作為所述當前中間級聯網絡的輸入，進行像素屬性特征提取處理，得到目標特征圖像。

在一種可能的實現方式中，所述圖像處理方法還包括：

將所述最高中間分辨率對應的中間級聯網絡的目標特征圖像作為中間特征圖像；

根據所述第二分辨率對所述中間特征圖像進行上采樣處理，得到第二上采樣特征圖像；