[發明專利]圖像修復方法和圖像修復模型的訓練方法

有效

• 申請號: 202010199775.1
• 申請日: 2020-03-20
• 公開（公告）號: CN111325699B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 向天戈
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種圖像修復方法，其特征在于，所述方法包括：

獲取待修復的第一目標圖像；

提取所述第一目標圖像的目標圖像特征；

基于所述目標圖像特征，獲取目標候選區域信息和目標基準圖，所述目標基準圖攜帶所述第一目標圖像的模式信息；

基于所述目標候選區域信息和所述目標基準圖，獲取目標分類結果和目標邊界框信息；

基于類別和通用特征的目標對應關系，獲取所述目標分類結果中的目標類別對應的目標通用特征，所述目標分類結果中的目標類別為所述第一目標圖像的待修復區域中的前景物體對應的類別；

基于所述目標基準圖和所述目標通用特征，獲取第一修復圖像；

基于所述第一目標圖像和所述目標邊界框信息，獲取第二修復圖像；

將所述第一修復圖像和所述第二修復圖像進行拼接處理，得到所述第一目標圖像對應的目標修復圖像。

2.一種圖像修復方法，其特征在于，所述方法包括：

獲取待修復的第一目標圖像；

將所述第一目標圖像輸入目標特征提取模型，得到目標圖像特征；

將所述目標圖像特征輸入目標候選區域提取模型，得到目標候選區域信息；將所述目標圖像特征輸入目標基準圖獲取模型，得到目標基準圖，所述目標基準圖攜帶所述第一目標圖像的模式信息；

將所述目標候選區域信息和所述目標基準圖輸入目標分類預測模型，得到目標分類結果；將所述目標候選區域信息和所述目標基準圖輸入目標邊界框預測模型，得到目標邊界框信息；

將所述目標基準圖和所述目標通用特征輸入目標生成式對抗網絡模型，基于所述目標生成式對抗模型輸出的圖像和所述目標邊界框信息，確定第一修復圖像；

利用目標背景修復模型對基于所述第一目標圖像和所述目標邊界框信息確定的圖像進行修復處理，得到第二修復圖像；

將所述第一修復圖像和所述第二修復圖像進行拼接處理，得到所述第一目標圖像對應的目標修復圖像。

3.一種圖像修復模型的訓練方法，其特征在于，所述方法包括：

獲取第一訓練集和第二訓練集，所述第一訓練集包括無需修復的第一樣本圖像、所述第一樣本圖像的第一分類標簽和第一邊界框標簽，所述第二訓練集包括待修復的第二樣本圖像和所述第二樣本圖像對應的標準修復圖像；

利用所述第一訓練集中的第一樣本圖像、第一分類標簽和第一邊界框標簽，對初始特征提取模型進行訓練，得到目標特征提取模型；

利用所述第二訓練集中的第二樣本圖像、標準修復圖像和所述目標特征提取模型，對初始候選區域提取模型、初始基準圖獲取模型和初始修復模型進行訓練，得到目標候選區域提取模型、目標基準圖獲取模型和目標修復模型；所述目標候選區域提取模型用于提取候選區域信息，所述目標基準圖獲取模型用于獲取攜帶圖像的模式信息的基準圖，所述目標修復模型用于基于模式信息修復圖像。

4.根據權利要求3所述的方法，其特征在于，所述初始修復模型包括初始分類預測模型、初始邊界框預測模型、初始生成式對抗網絡模型和初始背景修復模型；

所述利用所述第二訓練集中的第二樣本圖像、標準修復圖像和所述目標特征提取模型，對初始候選區域提取模型、初始基準圖獲取模型和初始修復模型進行訓練，得到目標候選區域提取模型、目標基準圖獲取模型和目標修復模型，包括：

利用所述第二訓練集中的第二樣本圖像、標準修復圖像和所述目標特征提取模型，對初始候選區域提取模型、初始基準圖獲取模型、初始分類預測模型、初始邊界框預測模型、初始生成式對抗網絡模型和初始背景修復模型進行訓練，得到目標候選區域提取模型、目標基準圖獲取模型、目標分類預測模型、目標邊界框預測模型、目標生成式對抗網絡模型和目標背景修復模型，所述目標生成式對抗網絡模型用于根據圖像的模式信息修復圖像的待修復區域中的前景物體，所述目標背景修復模型用于修復圖像的待修復區域中的背景。