[發明專利]圖像修復方法及裝置、電子設備和介質

在審

• 申請號: 202110246057.X
• 申請日: 2021-03-05
• 公開（公告）號: CN112967196A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 李超
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/00;G06N3/04;G06N3/08
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種圖像修復方法，包括：

獲取待修復圖像和所述待修復圖像對應的掩碼圖像，所述待修復圖像包括待修復區域和所述待修復區域之外的背景區域，所述掩碼圖像用于指示包含所述待修復區域的目標區域和所述目標區域之外的區域的相對位置關系；

將所述待修復圖像轉換為圖像特征；

將所述圖像特征和所述掩碼圖像輸入到經訓練的第一神經網絡中，以得到隱式掩碼圖像，所述隱式掩碼圖像用于指示所述待修復區域和所述背景區域的相對位置關系；以及

將所述圖像特征和所述隱式掩碼圖像拼接后輸入到經訓練的第二神經網絡中，以得到修復后的圖像。

2.如權利要求1所述的方法，還包括：在將所述待修復圖像轉換為圖像特征之后，對所述圖像特征和所述掩碼圖像進行下采樣至第一分辨率，以使得下采樣后的所述圖像特征和所述掩碼圖像輸入到經訓練的第一神經網絡中。

3.如權利要求1所述的方法，其中，所述掩碼圖像包括二維矩陣，所述二維矩陣包括對應于所述目標區域的第一數據區域和對應于所述目標區域之外的區域的第二數據區域，其中，所述第一數據和所述第二數據不同。

4.如權利要求1或2所述的方法，其中，通過經訓練的卷積神經網絡模型將所述待修復圖像轉換為圖像特征。

5.如權利要求1或2所述的方法，其中，所述第一神經網絡和第二神經網絡中的至少一個為U-net神經網絡。

6.如權利要求1所述的方法，其中，所述第一神經網絡和所述第二神經網絡是利用訓練數據、基于根據所述訓練數據生成的隱式掩碼圖像的修復損失和根據所述訓練數據生成的掩碼圖像的修復損失對神經網絡進行訓練而生成的。

7.如權利要求6所述的方法，其中，所述修復損失包括平均絕對誤差。

8.一種圖像修復裝置，包括：

圖像獲取模塊，配置為獲取待修復圖像和所述待修復圖像對應的掩碼圖像，所述待修復圖像包括待修復區域和所述待修復區域之外的背景區域，所述掩碼圖像用于指示包含所述待修復區域的目標區域和所述目標區域之外的區域的相對位置關系；

特征抽取模塊，配置為將所述待修復圖像轉換為圖像特征；

隱式掩碼生成模塊，配置為將所述圖像特征和所述掩碼圖像輸入到經訓練的第一神經網絡中，以得到隱式掩碼圖像，所述隱式掩碼圖像用于指示所述待修復區域和所述背景區域的相對位置關系；以及

圖像修復模塊，配置為將所述圖像特征和所述隱式掩碼圖像拼接后輸入到經訓練的第二神經網絡中，以得到修復后的圖像。

9.如權利要求8所述的裝置，其中，所述特征抽取模塊還配置為：

在將所述待修復圖像轉換為圖像特征之后，對所述圖像特征和所述掩碼圖像進行下采樣至第一分辨率，以使得下采樣后的所述圖像特征和所述掩碼圖像輸入到經訓練的第一神經網絡中。

10.如權利要求8所述的裝置，其中，所述掩碼圖像包括二維矩陣，所述二維矩陣包括對應于所述目標區域的第一數據區域和對應于所述目標區域之外的區域的第二數據區域，其中，所述第一數據和所述第二數據不同。

11.如權利要求8或9所述的裝置，其中，通過經訓練的卷積神經網絡模型將所述待修復圖像轉換為圖像特征。

12.如權利要求8或9所述的裝置，其中，所述第一神經網絡和第二神經網絡中的至少一個為U-net神經網絡。

13.如權利要求8所述的裝置，其中，所述第一網絡和所述第二網絡是利用訓練數據、基于根據所述訓練數據生成的隱式掩碼圖像的修復損失和根據所述訓練數據生成的掩碼圖像的修復損失對神經網絡進行訓練而生成的。

14.如權利要求13所述的裝置，其中，所述修復損失包括平均絕對誤差。