[發明專利]圖像填充方法及裝置、電子設備和介質

在審

• 申請號: 202110247367.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112967356A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 李超;高源;李甫;何棟梁;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06T7/11;G06T5/00;G06T3/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種圖像填充方法，包括：

獲取待填充圖像、所述待填充圖像對應的第一掩碼圖像和第二掩碼圖像，所述待填充圖像包括待填充區域和所述待填充區域之外的背景區域，所述第一掩碼圖像用于指示所述待填充區域和所述背景區域的相對位置關系，所述第二掩碼圖像用于指示用戶線索區域和所述用戶線索區域以外的區域的相對位置關系；

基于所述待填充圖像和所述第一掩碼圖像提取對應于所述背景區域的背景特征；

基于所述待填充圖像和所述第二掩碼圖像提取對應于所述用戶線索區域的線索特征；

計算所述背景特征和所述線索特征的相似度評分；以及

將所述待填充圖像、所述第一掩碼圖像和所述相似度評分輸入到經訓練的第一神經網絡中，以得到填充后的圖像。

2.如權利要求1所述的方法，其中，所述第一掩碼圖像為二維矩陣，所述二維矩陣包括對應于所述待填充區域的第一數據區域和對應于所述背景區域的第二數據區域，其中，所述第一數據和所述第二數據不同。

3.如權利要求1所述的方法，其中，所述第二掩碼圖像為二維矩陣，所述二維矩陣包括對應于所述用戶線索區域的第三數據區域和對應于所述用戶線索區域之外的區域的第四數據區域，其中，所述第三數據和所述第四數據不同。

4.如權利要求1所述的方法，其中，計算所述背景特征和所述線索特征的相似度評分包括：

計算所述背景特征中的每一個特征和所述線索特征中的每一個特征的相似度；以及

對于所述背景特征中的每一個特征，計算所述特征與所述線索特征中的所有特征的相似度的平均值，以作為所述背景特征中的所述特征與所述線索特征的相似度評分。

5.如權利要求1所述的方法，其中，提取對應于所述背景區域的背景特征包括：

將所述待填充圖像和所述第一掩碼圖像輸入到經訓練的第二神經網絡中，以得到對應于所述背景區域的背景特征。

6.如權利要求1所述的方法，其中，提取對應于所述用戶線索區域的線索特征包括：

將所述待填充圖像和所述第二掩碼圖像輸入到經訓練的第三神經網絡中，以得到對應于所述用戶線索區域的線索特征。

7.如權利要求1所述的方法，其中，所述第一神經網絡是利用訓練數據、基于根據所述訓練數據生成的第一掩碼圖像的修復損失對神經網絡進行訓練而生成的。

8.如權利要求1所述的方法，還包括：基于卷積神經網絡對所述填充后的圖像進行優化。

9.一種圖像填充裝置，包括：

圖像獲取模塊，配置為獲取待填充圖像、所述待填充圖像對應的第一掩碼圖像和第二掩碼圖像，所述待填充圖像包括待填充區域和所述待填充區域之外的背景區域，所述第一掩碼圖像用于指示所述待填充區域和所述背景區域的相對位置關系，所述第二掩碼圖像用于指示用戶線索區域和所述用戶線索區域以外的區域的相對位置關系；

背景特征提取模塊，配置為基于所述待填充圖像和所述第一掩碼圖像提取對應于所述背景區域的背景特征；

線索特征提取模塊，配置為基于所述待填充圖像和所述第二掩碼圖像提取對應于所述用戶線索區域的線索特征；

相似度計算模塊，配置為計算所述背景特征和所述線索特征的相似度評分；以及

圖像填充模塊，配置為將所述待填充圖像、所述第一掩碼圖像和所述相似度評分輸入到經訓練的第一神經網絡中，以得到填充后的圖像。

10.如權利要求9所述的裝置，其中，所述第一掩碼圖像為二維矩陣，所述二維矩陣包括對應于所述待填充區域的第一數據區域和對應于所述背景區域的第二數據區域，其中，所述第一數據和所述第二數據不同。

11.如權利要求9所述的裝置，其中，所述第二掩碼圖像為二維矩陣，所述二維矩陣包括對應于所述用戶線索區域的第三數據區域和對應于所述用戶線索區域之外的區域的第四數據區域，其中，所述第三數據和所述第四數據不同。