[發明專利]圖像處理方法和裝置

在審

• 申請號: 202110247369.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112967198A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 王詩吟;周強
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/02
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取待處理圖像和第一掩碼，其中，所述待處理圖像包含目標對象，所述目標對象的部分區域被遮擋物遮擋，所述第一掩碼為所述目標對象的未被遮擋物遮擋的區域的掩碼，或者所述目標對象的被遮擋物遮擋的區域的掩碼；

將所述待處理圖像和所述第一掩碼輸入到神經網絡模型中，補全所述目標對象的被遮擋物遮擋的區域的內容。

2.根據權利要求1所述的方法，其特征在于，所述將所述待處理圖像和所述第一掩碼輸入到神經網絡模型中，補全所述目標對象的被遮擋物遮擋的區域的內容，包括：

將所述待處理圖像和第一掩碼經過所述神經網絡模型中的多個網絡層進行處理，補全所述目標對象的被遮擋物遮擋的區域的內容；

其中，所述多個網絡層中的至少一個網絡層的處理過程包括：

接收前一網絡層輸出的第一特征圖和第二掩碼，所述第一特征圖和所述第二掩碼是基于所述待處理圖像和所述第一掩碼得到的；

根據所述第一特征圖和所述第二掩碼，得到第二特征圖和第三掩碼，其中，所述第二特征圖為所述目標對象的被遮擋物遮擋的區域的內容增強后的特征，所述第二特征圖的通道數與所述第一特征圖的通道數相同；

將所述第二特征圖和所述第三掩碼輸出至后一網絡層。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一特征圖和所述第二掩碼，得到第二特征圖和第三掩碼，包括：

利用所述第一特征圖和所述第二掩碼，通過注意力機制處理更新所述第一特征圖；

對所述第二掩碼和更新后的所述第一特征圖進行部分卷積處理，得到所述第二特征圖和所述第三掩碼。

4.根據權利要求2或3所述的方法，其特征在于，所述第二掩碼和所述第三掩碼為所述目標對象的未被遮擋物遮擋的區域的掩碼，所述第三掩碼對應的所述目標對象的未被遮擋物遮擋的區域大于所述第二掩碼對應的所述目標對象的未被遮擋物遮擋的區域，所述第二掩碼對應的所述目標對象的未被遮擋物遮擋的區域大于所述第一掩碼對應的所述目標對象的未被遮擋物遮擋的區域。

5.根據權利要求2或3所述的方法，其特征在于，所述第二掩碼和所述第三掩碼為所述目標對象的被遮擋物遮擋的區域的掩碼，所述第三掩碼對應的所述目標對象的被遮擋物遮擋的區域小于所述第二掩碼對應的所述目標對象的被遮擋物遮擋的區域，所述第二掩碼對應的所述目標對象的被遮擋物遮擋的區域小于所述第一掩碼對應的所述目標對象的被遮擋物遮擋的區域。

6.根據權利要求2-5任一項所述的方法，其特征在于，所述第一特征圖的通道數和所述第二掩碼的通道數相同，且所述第一特征圖和所述第二掩碼為多通道的。

7.一種圖像處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取待處理圖像和第一掩碼，其中，所述待處理圖像包含目標對象，所述目標對象的部分區域被遮擋物遮擋，所述第一掩碼為所述目標對象的未被遮擋物遮擋的區域的掩碼，或者所述目標對象的被遮擋物遮擋的區域的掩碼；

處理模塊，用于將所述待處理圖像和所述第一掩碼輸入到神經網絡模型中，補全所述目標對象的被遮擋物遮擋的區域的內容。

8.一種電子設備，包括：一個或多個處理器；存儲器；以及一個或多個計算機程序；其中所述一個或多個計算機程序被存儲在所述存儲器中；其特征在于，所述一個或多個處理器在執行所述一個或多個計算機程序時，使得所述電子設備實現如權利要求1-6任一項所述的圖像處理方法。

9.一種計算機存儲介質，其特征在于，包括計算機指令，當所述計算機指令在電子設備上運行時，使得所述電子設備執行如權利要求1-6任一項所述的圖像處理方法。

10.一種計算機程序產品，其特征在于，當所述計算機程序產品在計算機上運行時，使得所述計算機執行如權利要求1-6任一項所述的圖像處理方法。