[發明專利]圖像處理方法、裝置、電子設備、介質和計算機程序產品

在審

• 申請號: 202110247358.4
• 申請日: 2021-03-05
• 公開（公告）號: CN113033334A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 王詩吟;周強
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

本公開提供了一種圖像處理方法、裝置、電子設備、介質和計算機程序產品；通過獲取原始圖像中的目標對象的可見區域的第一掩碼，根據所述第一掩碼和多個第二掩碼，得到多個姿態特征掩碼，將所述原始圖像和所述第一掩碼堆疊后輸入目標神經網絡模型中，得到第一特征圖，根據所述第一特征圖和多個所述姿態特征掩碼進行堆疊處理，得到所述目標對象的目標完整掩碼，其中，第二掩碼與目標對象的姿態一一對應，不同的第二掩碼對應目標對象的不同姿態，由于在預測目標對象的目標完整掩碼的過程中，結合了不同姿態的掩碼，從而，提高了獲取的目標對象的目標完整掩碼的準確性。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置、電子設備、介質和計算機程序產品。

背景技術

在圖像處理領域，通常需要對圖像中一些被部分遮擋的目標對象進行補全，目標對象可以為人體或者其他物體，以人體為例，假設在一張圖像中，人體部分被遮擋物遮擋，則需要通過一系列的圖像處理，將人體被遮擋的部分補全，得到一個完整的人體。通常，對目標對象進行補全的過程中，通常需要預測目標對象的完整掩碼。

現有技術中，通常將原始圖像輸入到實例分割網絡中，通過實例分割網絡得到目標對象的可見區域的掩碼，然后再基于原始圖像和目標對象的可見區域的掩碼通過一個神經網絡模型得到目標對象的目標完整掩碼。

然而，采用現有技術得到目標對象的目標完整掩碼的準確性不高。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開提供了一種圖像處理方法、裝置、電子設備、介質和計算機程序產品。

本公開第一方面提供一種圖像處理方法，所述方法包括：

獲取原始圖像中的目標對象的可見區域的第一掩碼，其中，所述原始圖像中包含目標對象，所述目標對象部分區域被遮擋物遮擋；

根據所述第一掩碼和多個第二掩碼，得到多個姿態特征掩碼，其中，不同的所述第二掩碼對應所述目標對象的不同姿態；

將所述原始圖像和所述第一掩碼堆疊后輸入目標神經網絡模型中，得到第一特征圖，其中，所述目標神經網絡模型是基于原始圖像樣本、目標對象樣本的參考完整掩碼以及所述多個第二掩碼訓練得到的，所述原始圖像樣本中包含所述目標對象樣本，所述目標對象樣本的部分區域被遮擋物遮擋；

根據所述第一特征圖和多個所述姿態特征掩碼進行堆疊處理，得到所述目標對象的目標完整掩碼。

可選的，所述根據所述第一掩碼和多個第二掩碼，得到多個姿態特征掩碼，包括：

獲取所述第一掩碼分別與多個所述第二掩碼之間的相似度；

將多個所述相似度與多個所述第二掩碼對應相乘，得到所述多個姿態特征掩碼。

可選的，所述根據所述第一掩碼和多個第二掩碼，得到多個姿態特征掩碼之前，還包括：

獲取目標對象的多個掩碼樣本；

根據所述掩碼樣本之間的相似度對所述多個掩碼樣本進行聚類分析，得到多個聚類集合；

針對每個聚類集合，根據所述聚類集合中的掩碼樣本，獲取所述聚類集合對應的第二掩碼。

可選的，所述根據所述聚類集合中的掩碼樣本，獲取所述聚類集合對應的第二掩碼，包括：

從所述聚類集合中隨機選擇一個掩碼樣本作為所述聚類集合對應第二掩碼；

或者，

對所述聚類集合中的所有掩碼樣本求平均，將結果作為所述聚類集合對應第二掩碼。

可選的，所述根據所述掩碼樣本之間的相似度對所述多個掩碼樣本進行聚類分析，得到多個聚類集合，包括：