[發明專利]圖像處理的方法、裝置、設備以及存儲介質

在審

• 申請號: 202010599313.9
• 申請日: 2020-06-28
• 公開（公告）號: CN111754439A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 何棟梁;李甫;李超;張赫男;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 王一;閻敏

本申請公開了圖像處理的方法、裝置、設備以及存儲介質，涉及人工智能、深度學習、圖像處理技術領域。實現方案為：將掩膜圖像和第一圖像輸入編碼網絡；利用編碼網絡的各卷積層對第一圖像下采樣；至少一層卷積層通過輸入本層的掩膜圖像確定輸入本層的第一圖像進行卷積時每個卷積窗口的卷積核；將第二圖像輸入解碼網絡；利用解碼網絡的各反卷積層對第二圖像上采樣，并輸出對目標區域進行填補后的圖像。本申請實施例通過掩膜圖像確定同一層中第一圖像進行卷積時每個卷積窗口的卷積核，因此能夠利用動態計算的卷積核更好地自適應不同卷積窗口中有效像素的特征提取，提高了特征提取的敏感度，從而使得最終對圖像缺失區域的填補修復更加合理。

技術領域

本申請涉及計算機技術領域，尤其涉及人工智能、深度學習、圖像處理技術領域。

背景技術

在拍照時，圖像中經常容易出現不希望存在的一些人或者物體，因此需要對圖像中的不希望存在的內容進行去除并修復重建圖像。在對圖像中不希望存在的內容進行去除后所產生的空白區域進行圖像重建時，需要根據空白區域周邊的圖像色彩，紋理和內容等信息做一個比較自然的填補才能真正達到比較好的圖像修復重建效果。然而目前的圖像修復技術，修復效果有限，常常無法合理的填補圖像中的缺失區域，因此難以滿足用戶對圖像修復效果的需求。

發明內容

本申請提供了一種圖像處理的方法、裝置、設備以及存儲介質。

根據本申請的一方面，提供了一種圖像處理的方法，包括：

將掩膜圖像和第一圖像輸入神經網絡的編碼網絡，掩膜圖像和第一圖像基于去除目標區域的待修復圖像所生成；

利用編碼網絡的各卷積層逐層對第一圖像進行下采樣；其中，利用至少一層卷積層通過輸入本層的掩膜圖像確定輸入本層的第一圖像進行卷積時每個卷積窗口的卷積核；

利用編碼網絡將對第一圖像進行下采樣得到的第二圖像輸入神經網絡的解碼網絡；

利用解碼網絡的各反卷積層逐層對第二圖像進行上采樣，并輸出對目標區域進行填補后的圖像。

根據本申請的另一方面，提供了一種圖像處理的裝置，包括：

第一輸入模塊，用于將掩膜圖像和第一圖像輸入神經網絡的編碼網絡，掩膜圖像和第一圖像基于去除目標區域的待修復圖像所生成；

下采樣模塊，用于利用編碼網絡的各卷積層逐層對第一圖像進行下采樣；其中，利用至少一層卷積層通過輸入本層的掩膜圖像確定輸入本層的第一圖像進行卷積時每個卷積窗口的卷積核；

第二輸入模塊，利用編碼網絡將對第一圖像進行下采樣得到的第二圖像輸入神經網絡的解碼網絡；

上采樣模塊，用于利用解碼網絡的各反卷積層逐層對第二圖像進行上采樣，并輸出對目標區域進行填補后的圖像。

根據本申請的另一方面，提供了一種電子設備，電子設備的功能可以通過硬件實現，也可以通過硬件執行相應的軟件實現。硬件或軟件包括一個或多個與上述功能相對應的模塊。

在一個可能的設計中，電子設備的結構中包括處理器和存儲器，存儲器用于存儲支持電子設備執行上述圖像處理的方法的程序，處理器被配置為用于執行存儲器中存儲的程序。電子設備還可以包括通信接口，用于與其他設備或通信網絡通信。

根據本申請的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，用于存儲電子設備及電子設備所用的計算機軟件指令，其包括用于執行上述圖像處理的方法所涉及的程序。

根據本申請的技術解決了現有圖像處理技術中，模型在對特征圖進行卷積運算時，卷積核固定不變的問題。本申請實施例通過掩膜圖像確定同一層中第一圖像進行卷積時每個卷積窗口的卷積核，因此能夠利用動態計算的卷積核更好地自適應不同卷積窗口中有效像素的特征提取，提高了特征提取的敏感度，從而使得最終對圖像缺失區域的填補修復更加合理。