[發明專利]圖像填充方法及裝置、電子設備和介質

在審

• 申請號: 202110247367.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112967356A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 李超;高源;李甫;何棟梁;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06T7/11;G06T5/00;G06T3/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種圖像填充方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品，涉及人工智能領域，尤其涉及計算機視覺、深度學習技術領域。實現方案為：獲取待填充圖像、待填充圖像對應的第一掩碼圖像和第二掩碼圖像，待填充圖像包括待填充區域和背景區域，第一掩碼圖像指示待填充區域和背景區域的相對位置關系，第二掩碼圖像指示用戶線索區域及其外部區域的相對位置關系；基于待填充圖像和第一掩碼圖像提取對應于背景區域的背景特征；基于待填充圖像和第二掩碼圖像提取對應于用戶線索區域的線索特征；計算背景特征和線索特征的相似度評分；將待填充圖像、第一掩碼圖像和相似度評分輸入到經訓練的第一神經網絡中，以得到填充后的圖像。

技術領域

本公開涉及人工智能領域，尤其涉及計算機視覺、深度學習技術領域，具體涉及一種圖像填充方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

背景技術

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬件層面的技術也有軟件層面的技術。人工智能硬件技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理等技術:人工智能軟件技術主要包括計算機視覺技術、語音識別技術、自然語言處理技術以及機器學習/深度學習、大數據處理技術、知識圖譜技術等幾大方向。

圖像填充技術有廣泛的應用場景，例如圖像編輯、圖像修復、移除圖像中的特定物體等。目前圖像填充技術基于數據驅動、根據訓練集中的數據經驗分布來填充缺失區域，而無法進行人工干預，無法理解用戶的填充意圖。

發明內容

本公開提供了一種圖像填充方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種圖像填充方法，包括：獲取待填充圖像、所述待填充圖像對應的第一掩碼圖像和第二掩碼圖像，所述待填充圖像包括待填充區域和所述待填充區域之外的背景區域，所述第一掩碼圖像用于指示所述待填充區域和所述背景區域的相對位置關系，所述第二掩碼圖像用于指示用戶線索區域和所述用戶線索區域以外的區域的相對位置關系；基于所述待填充圖像和所述第一掩碼圖像提取對應于所述背景區域的背景特征；基于所述待填充圖像和所述第二掩碼圖像提取對應于所述用戶線索區域的線索特征；計算所述背景特征和所述線索特征的相似度評分；以及將所述待填充圖像、所述第一掩碼圖像和所述相似度評分輸入到經訓練的第一神經網絡中，以得到填充后的圖像。

根據本公開的另一方面，提供了一種圖像填充裝置，包括：圖像獲取模塊，配置為獲取待填充圖像、所述待填充圖像對應的第一掩碼圖像和第二掩碼圖像，所述待填充圖像包括待填充區域和所述待填充區域之外的背景區域，所述第一掩碼圖像用于指示所述待填充區域和所述背景區域的相對位置關系，所述第二掩碼圖像用于指示用戶線索區域和所述用戶線索區域以外的區域的相對位置關系；背景特征提取模塊，配置為基于所述待填充圖像和所述第一掩碼圖像提取對應于所述背景區域的背景特征；線索特征提取模塊，配置為基于所述待填充圖像和所述第二掩碼圖像提取對應于所述用戶線索區域的線索特征；相似度計算模塊，配置為計算所述背景特征和所述線索特征的相似度評分；以及圖像填充模塊，配置為將所述待填充圖像、所述第一掩碼圖像和所述相似度評分輸入到經訓練的第一神經網絡中，以得到填充后的圖像。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；存儲器存儲有可被至少一個處理器執行的指令，該指令被至少一個處理器執行，以使至少一個處理器能夠執行本公開的圖像填充方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，該計算機指令用于使計算機執行本公開的圖像填充方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序，該計算機程序在被處理器執行時實現本公開的圖像填充方法。

根據本公開的一個或多個實施例，能夠準確理解用戶的填充意圖，基于用戶線索進行圖像填充，達到了符合用戶期望的填充效果。