[發明專利]圖像合成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010559322.5
• 申請日: 2020-06-18
• 公開（公告）號: CN111583168A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 周康明;高凱珺
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/194;G06K9/32;G06K9/62
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 仝麗

本申請涉及一種圖像合成方法、裝置、計算機設備和存儲介質，首先，通過從所述目標區域圖像組獲取第一目標區域圖像，從所述背景圖像組中獲取第一背景圖像；其次，通過域判定模型計算所述第一目標區域圖像的域和所述第一背景圖像的域；根據所述第一目標區域圖像的域和所述第一背景圖像的域，通過域轉換模型將所述第一目標區域圖像、所述第一背景圖像轉換至同一域中，得到第二目標區域圖像、第二背景圖像中的至少一個，實現了將前景和背景遷移至同一域中；最后，將所述第二目標區域圖像與所述第一背景圖像或者所述第二背景圖像進行合成，或者將所述第一目標區域圖像與所述第二背景圖像進行合成。

技術領域

本申請涉及計算機技術領域，特別是涉及一種圖像合成方法、裝置、計算機設備和存儲介質。

背景技術

訓練模型需要大量的數據以及對數據進行標注，且標注是一件費時費力的工作，因此，人們開始使用圖像合成的方式進行數據擴充。

圖像合成是圖像處理的常用操作，傳統的圖像合成方法，從一張圖像中提取感興趣區域，并將感興趣區域貼合在另一張圖像上，從而生成一張新的合成圖，合成圖中已經存在標注信息，因此不需要再進行標注。可見，合成圖可以用于數據增廣，有著廣泛的應用前景。

但是，通過傳統的圖像合成方式得到的合成圖存在圖像內容不和諧的技術問題，比如感興趣區域在合成圖中顯得突兀。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠使得合成圖的圖像內容和諧的圖像合成方法、裝置、計算機設備和存儲介質。

一種圖像合成方法，所述方法包括：

從所述目標區域圖像組獲取第一目標區域圖像，從所述背景圖像組中獲取第一背景圖像；

通過域判定模型計算所述第一目標區域圖像的域和所述第一背景圖像的域；

根據所述第一目標區域圖像的域和所述第一背景圖像的域，通過域轉換模型將所述第一目標區域圖像、所述第一背景圖像轉換至同一域中，得到第二目標區域圖像、第二背景圖像中的至少一個；

將所述第二目標區域圖像與所述第一背景圖像或者所述第二背景圖像進行合成，或者將所述第一目標區域圖像與所述第二背景圖像進行合成。

在其中一個實施例中，所述域判定模型包括全局判定模型和目標背景判定模型，所述全局判定模型用于輔助訓練所述域轉換模型；所述通過域判定模型計算所述第一目標區域圖像的域和所述第一背景圖像的域，包括：

通過所述目標背景判定模型計算所述第一目標區域圖像的域和所述第一背景圖像的域。

在其中一個實施例中，所述域判定模型和所述域轉換模型的訓練，包括：

構建真實樣本集和造假樣本集；

通過單獨交替迭代訓練的方式，利用所述真實樣本集和所述造假樣本集訓練所述域判定模型和所述域轉換模型；其中，計算所述目標背景判定模型的域驗證損失。

在其中一個實施例中，所述真實樣本集包括若干張真實圖像，所述造假樣本集包括若干張合成圖像；所述目標背景模型的域驗證損失的計算，包括：

根據所述真實圖像的特征圖和所述目標區域圖像的特征圖，計算第一相似度；

根據所述合成圖像的特征圖和所述目標區域圖像的特征圖，計算第二相似度；

根據所述第一相似度和所述第二相似度，確定所述目標背景模型的域驗證損失。

在其中一個實施例中，按照如下公式進行所述域驗證損失的計算：

其中，為所述域驗證損失，I為所述真實圖像的特征圖，為所述合成圖像的特征圖，M為所述目標區域圖像的特征圖。