[發明專利]圖像處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011046638.0
• 申請日: 2020-09-29
• 公開（公告）號: CN112184584A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 劉曉坤
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/40;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本公開關于一種圖像處理方法、裝置、電子設備及存儲介質，其中，方法包括：對獲取的包含目標對象的待處理圖像進行目標對象檢測，得到目標對象區域圖像；對目標對象區域圖像進行瑕疵檢測，得到目標對象瑕疵掩膜圖像；將目標對象區域圖像和目標對象瑕疵掩膜圖像輸入第一圖像瑕疵填充網絡，對目標對象區域圖像的瑕疵區域進行填充處理，得到初始對象填充圖像；將初始對象填充圖像和目標對象瑕疵掩膜圖像輸入第二圖像瑕疵填充網絡，對初始對象填充圖像的瑕疵區域進行填充處理，得到目標對象填充圖像；基于目標對象填充圖像對待處理圖像進行修正，得到目標對象圖像。采用本公開技術方案可以提升對圖像的瑕疵區域進行填充處理的速度，改善瑕疵填充效果。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置、電子設備及存儲介質。

背景技術

在圖像處理應用中，美顏已經成為一項必不可少的技術，通過對圖像進行美顏，可以使得圖像中人物等對象的瑕疵更少。

相關技術中，針對瑕疵的美顏算法一般可以分為兩步，一是瑕疵檢測，二是瑕疵填充。當前瑕疵檢測方法一般較快且效果穩定，而瑕疵填充主要包括以下兩種：Patchmatch(區域匹配)和Inpainting(補全)。其中，Patchmatch的方式需要結合參考圖像或者目標圖像的非瑕疵區域對目標圖像(需要進行瑕疵填充的圖像)進行全圖搜索和匹配，然后填充，計算量巨大且隨瑕疵個數線性增加將無法實時，只能在拍照等不要求實時的場景使用；Inpainting方法可以根據目標圖像自身或圖像庫信息來補全待填充區域，雖然速度相較于前者較快，但是填充后為純色色塊，導致填充后的圖像缺失紋理、視覺不和諧；因此，相關技術中存在圖像瑕疵填充處理速度慢、填充效果差的問題。

發明內容

本公開提供一種對象圖像處理方法、裝置及系統，以至少解決相關技術中圖像瑕疵填充處理速度慢、填充效果差的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種圖像處理方法，包括：

獲取包含目標對象的待處理圖像；

對所述待處理圖像進行目標對象檢測，得到目標對象區域圖像；

對所述目標對象區域圖像進行瑕疵檢測，得到目標對象瑕疵掩膜圖像；

將所述目標對象區域圖像和所述目標對象瑕疵掩膜圖像輸入第一圖像瑕疵填充網絡，對所述目標對象區域圖像的瑕疵區域進行填充處理，得到初始對象填充圖像；

將所述初始對象填充圖像和所述目標對象瑕疵掩膜圖像輸入第二圖像瑕疵填充網絡，對所述初始對象填充圖像的瑕疵區域進行填充處理，得到目標對象填充圖像；

基于所述目標對象填充圖像對所述待處理圖像進行修正，得到目標對象圖像。

可選的，所述第一圖像瑕疵填充網絡包括第一編碼網絡和第一解碼網絡，所述將所述目標對象區域圖像和所述目標對象瑕疵掩膜圖像輸入第一圖像瑕疵填充網絡，對所述目標對象區域圖像的瑕疵區域進行填充處理，得到初始對象填充圖像包括：

將所述目標對象區域圖像和所述目標對象瑕疵掩膜圖像輸入所述第一編碼網絡，利用所述第一編碼網絡對所述目標對象區域圖像和所述目標對象瑕疵掩膜圖像進行特征抽象，得到瑕疵填充特征信息；

將所述瑕疵填充特征信息輸入所述第一解碼網絡，利用所述第一解碼網絡對所述瑕疵填充特征信息進行對象重建處理，得到所述初始對象填充圖像。

可選的，所述第二圖像瑕疵填充網絡包括第二編碼網絡和第二解碼網絡；所述第二編碼網絡包括第一編碼分支網絡和第二編碼分支網絡；

所述將所述初始對象填充圖像和所述目標對象瑕疵掩膜圖像輸入第二圖像瑕疵填充網絡，對所述初始對象填充圖像的瑕疵區域進行填充處理，得到目標對象填充圖像包括：