[發(fā)明專利]圖像生成方法、模型訓(xùn)練方法、檢測方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210707324.3
• 申請日: 2022-06-21
• 公開（公告）號: CN114882207A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計）人: 劉思黎;朱鋮愷
• 申請（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/26;G06V10/28;G06V10/30;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 魏文君

1.一種樣本圖像生成方法，其特征在于，所述樣本圖像用于訓(xùn)練目標檢測模型，所述目標檢測模型用于檢測圖像中的井蓋缺失窨井，所述方法包括：

獲取帶井蓋窨井的圖像；

將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像，其中，所述井蓋缺失窨井的特征通過對井蓋缺失窨井的圖像進行特征提取得到。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像，包括：

將所述帶井蓋窨井的圖像輸入到預(yù)先訓(xùn)練的風(fēng)格遷移模型中，通過所述風(fēng)格遷移模型將井蓋缺失窨井的特征遷移到所述帶井蓋窨井的圖像中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的樣本圖像；其中，所述風(fēng)格遷移模型通過包括帶井蓋窨井的第一圖像和包括井蓋缺失窨井的第二圖像訓(xùn)練得到；或

從所述帶井蓋窨井的圖像中截取包括所述帶井蓋窨井的第一圖像區(qū)域，將所述第一圖像區(qū)域輸入到所述風(fēng)格遷移模型中，通過所述風(fēng)格遷移模型將井蓋缺失窨井的特征遷移到所述第一圖像區(qū)域中的所述帶井蓋窨井中，得到包括井蓋缺失窨井的第二圖像區(qū)域，利用所述第二圖像區(qū)域替換所述第一圖像區(qū)域，得到所述樣本圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述風(fēng)格遷移模型包括生成對抗網(wǎng)絡(luò)，所述風(fēng)格遷移模型基于包括帶井蓋窨井的第一圖像和包括井蓋缺失窨井的第二圖像訓(xùn)練得到，包括：

利用所述生成對抗網(wǎng)絡(luò)的生成器基于所述第一圖像生成包括井蓋缺失窨井的圖像；

基于所述生成對抗網(wǎng)絡(luò)的判別器對所述生成器生成的圖像和所述第二圖像的判別結(jié)果確定第一損失；

基于所述生成器生成的圖像中的第一圖像塊與所述第一圖像中的第二圖像塊的相似度、以及所述生成器生成的圖像中的第一圖像塊和第一圖像中的第三圖像塊的相似度確定第二損失；其中，所述第一圖像塊和所述第二圖像塊位于同一像素位置，所述第一圖像塊和所述第三圖像塊位于不同的像素位置；

基于所述第一損失和所述第二損失確定目標損失，利用所述目標損失對所述生成對抗網(wǎng)絡(luò)進行訓(xùn)練。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用所述第二圖像區(qū)域替換所述第一圖像區(qū)域，得到所述樣本圖像，包括：

基于所述第二圖像區(qū)域確定掩膜圖像；

利用所述掩膜圖像從所述第二圖像區(qū)域中提取前景圖像，以及利用所述掩膜圖像從所述第一圖像區(qū)域中提取背景圖像；

將所述前景圖像與所述背景圖像融合，利用融合得到的圖像替換所述第一圖像區(qū)域，得到所述樣本圖像。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述第二圖像區(qū)域確定掩膜圖像，包括：

對所述第二圖像區(qū)域進行縮放處理，使得所述第二圖像區(qū)域的尺寸和所述第一圖像區(qū)域的尺寸一致；

將縮放處理后的第二圖像區(qū)域進行灰度處理后再進行去噪處理，再對去噪后的灰度圖像進行二值化處理；

對二值化處理得到的二值化圖像進行去噪處理，得到所述掩膜圖像。

6.一種目標檢測模型訓(xùn)練方法，其特征在于，所述方法包括：

利用權(quán)利要求1-5任一項所述的樣本圖像生成方法生成樣本圖像；

利用所述樣本圖像對預(yù)設(shè)的初始模型進行訓(xùn)練，得到所述目標檢測模型。

7.一種檢測道路中井蓋缺失窨井的方法，其特征在于，所述方法包括：

獲取道路的圖像；

將所述圖像輸入到預(yù)先訓(xùn)練的目標檢測模型中，通過所述目標檢測模型檢測圖像中井蓋缺失的窨井，其中，所述目標檢測模型通過樣本圖像訓(xùn)練得到，所述樣本圖像包括通過如權(quán)利要求1-5任一項所述的樣本圖像生成方法生成的圖像。