[發明專利]圖像生成方法、模型訓練方法、檢測方法、裝置及系統

在審

• 申請號: 202210707324.3
• 申請日: 2022-06-21
• 公開（公告）號: CN114882207A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 劉思黎;朱鋮愷
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/26;G06V10/28;G06V10/30;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 魏文君

本公開實施例提供一種圖像生成方法、模型訓練方法、檢測方法、裝置及系統。可以從已獲得的少量井蓋缺失窨井的圖像中提取井蓋缺失窨井的特征，然后將這些特征遷移到帶井蓋窨井的圖像中的帶井蓋窨井中，從而可以得到不同場景下的井蓋缺失窨井的圖像，作為樣本圖像。通過這種方式，即可以得到大量不同場景下的井蓋缺失窨井的樣本圖像，用于訓練目標檢測模型，使得樣本數據可以更加多樣化，訓練得到的目標檢測模型的預測結果也更加準確。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種圖像生成方法、模型訓練方法、檢測方法、裝置及系統。

背景技術

由于地面往往分布大量的窨井，而這些窨井經常會出現井蓋缺失的問題。一旦井蓋缺失，會對行人和車輛產生極大的安全隱患，造成不良的社會影響。因此，需要及時地檢測出地面上井蓋缺失的窨井，并采取相應的防護措施。目前，可以采集道路的圖像，通過預先訓練的目標檢測模型檢測圖像中是否包括井蓋缺失窨井。但是由于井蓋缺失窨井的圖像較少，很難囊括不同的場景，導致目標檢測模型的訓練數據不夠全面，最后訓練的目標檢測模型的精度也比較低。

發明內容

本公開提供一種樣本圖像生成方法、模型訓練方法、檢測方法、裝置及系統。

根據本公開實施例的第一方面，提供一種樣本圖像生成方法，所述樣本圖像用于訓練目標檢測模型，所述目標檢測模型用于檢測圖像中的井蓋缺失窨井，所述方法包括：

獲取帶井蓋窨井的圖像；

將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像，其中，所述井蓋缺失窨井的特征通過對井蓋缺失窨井的圖像進行特征提取得到。

在一些實施例中，將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像，包括：

將所述帶井蓋窨井的圖像輸入到預先訓練的風格遷移模型中，通過所述風格遷移模型將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像；其中，所述風格遷移模型通過包括帶井蓋窨井的第一圖像和包括井蓋缺失窨井的第二圖像訓練得到；或

從所述帶井蓋窨井的圖像中截取包括所述帶井蓋窨井的第一圖像區域，將所述第一圖像區域輸入到所述風格遷移模型中，通過所述風格遷移模型將井蓋缺失窨井的特征遷移到所述第一圖像區域中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的第二圖像區域，利用所述第二圖像區域替換所述第一圖像區域，得到所述樣本圖像。

在一些實施例中，所述風格遷移模型包括生成對抗網絡，所述風格遷移模型基于包括帶井蓋窨井的第一圖像和包括井蓋缺失窨井的第二圖像訓練得到，包括：

利用所述生成對抗網絡的生成器基于所述第一圖像生成包括井蓋缺失窨井的圖像；

基于所述生成對抗網絡的判別器對所述生成器生成的圖像和所述第二圖像的判別結果確定第一損失；

基于所述生成器生成的圖像中的第一圖像塊與所述第一圖像中的第二圖像塊的相似度、以及所述生成器生成的圖像中的第一圖像塊和第一圖像中的第三圖像塊的相似度確定第二損失；其中，所述第一圖像塊和所述第二圖像塊位于同一像素位置，所述第一圖像塊和所述第三圖像塊位于不同的像素位置；

基于所述第一損失和所述第二損失確定目標損失，利用所述目標損失對所述生成對抗網絡進行訓練。

在一些實施例中，利用所述第二圖像區域替換所述第一圖像區域，得到所述樣本圖像，包括：

基于所述第二圖像區域確定掩膜圖像；

利用所述掩膜圖像從所述第二圖像區域中提取前景圖像，以及利用所述掩膜圖像從所述第一圖像區域中提取背景圖像；