[發明專利]圖像生成方法、神經網絡的訓練方法、裝置和電子設備

在審

• 申請號: 201910026276.X
• 申請日: 2019-01-10
• 公開（公告）號: CN109727264A
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 楊磊;魏秀參;崔權
• 申請（專利權）人: 南京曠云科技有限公司;徐州曠視數據科技有限公司;北京曠視科技有限公司
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06T7/194
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王術蘭

本發明提供了一種圖像生成方法、神經網絡的訓練方法、裝置和電子設備，該圖像生成方法包括：獲取包含待檢測對象的待處理圖像和目標背景圖像，并在待處理圖像中提取前景圖像；將前景圖像和目標背景圖像進行合成，得到目標合成圖像；采用生成對抗網絡對目標合成圖像進行域的轉換，得到目標轉換圖像，最終得到的目標轉換圖像與真實場景中對待檢測對象進行拍攝得到的圖像更加相似。本發明的圖像生成方法生成的目標轉換圖像的真實性好，更加逼真，緩解了現有的圖像生成方法生成的圖像真實性差的技術問題。

技術領域

本發明涉及圖像處理的技術領域，尤其是涉及一種圖像生成方法、神經網絡的訓練方法、裝置和電子設備。

背景技術

目標檢測(object detection)是計算機視覺中的一項基礎且重要研究的課題，在人臉識別、智能零售、智慧城市等場景中，目標檢測都是應用落地的關鍵。之前的目標檢測方法中大多需要人工采集和人工標注大量的訓練圖像，采集和標注的過程會花費大量的人力物力而且消耗非常多的時間，增長了項目落地的工期。

如何有效地降低獲取訓練圖像及標注的成本，成為一個有實際意義的新興研究方向。研究發現，通過基于貼圖的圖像生成的方法，可以快速獲得目標檢測算法所需要的訓練圖像及對應的標注。但由此也引入了新的問題：貼圖生成的圖像和真實檢測環境下的圖像存在著較大的不同，這種不同會造成檢測算法的性能下降。

綜上，現有的圖像生成方法生成的圖像真實性差的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種圖像生成方法、神經網絡的訓練方法、裝置和電子設備，以緩解現有的圖像生成方法生成的圖像真實性差的技術問題。

第一方面，本發明實施例提供了一種圖像生成方法，包括：獲取包含待檢測對象的待處理圖像和目標背景圖像，并在所述待處理圖像中提取前景圖像；將所述前景圖像和所述目標背景圖像進行合成，得到目標合成圖像；采用生成對抗網絡對所述目標合成圖像進行域的轉換，得到目標轉換圖像，其中，所述目標轉換圖像和對比圖像的相似度高于預設閾值；所述對比圖像為假設所述待檢測對象放置在所述目標背景圖像所示的區域時，對所述待檢測對象進行拍攝得到的圖像。

進一步地，在所述待處理圖像中提取前景圖像包括：在所述待處理圖像中確定所述待檢測對象的包圍框，得到攜帶包圍框的待處理圖像；根據所述攜帶包圍框的待處理圖像確定所述待檢測對象的前景掩碼圖像，其中，所述前景掩碼圖像中第一目標像素點所構成的區域為所述待檢測對象在所述待處理圖像中所在的區域，所述第一目標像素點為像素值為第一預設數值的像素點；根據所述待檢測對象的前景掩碼圖像在所述攜帶包圍框的待處理圖像中分割出所述前景圖像。

進一步地，根據所述攜帶包圍框的待處理圖像確定所述待檢測對象的前景掩碼圖像包括：按照目標尺寸對所述攜帶包圍框的待處理圖像進行裁剪，得到目標待處理圖像；采用顯著性檢測方法對所述目標待處理圖像進行顯著性檢測，得到所述目標待處理圖像的顯著熱力圖，其中，所述顯著熱力圖中的顯著區域為所述待檢測對象在所述待處理圖像中所在的區域；基于所述顯著熱力圖確定所述待檢測對象的前景掩碼圖像。

進一步地，基于所述顯著熱力圖確定所述待檢測對象的前景掩碼圖像包括：對所述顯著熱力圖中的第二目標像素點進行置零處理，得到置零后的顯著熱力圖，其中，所述第二目標像素點為所述顯著熱力圖中位于第一包圍框以外區域內的像素點，所述第一包圍框為所述待檢測對象的包圍框映射到所述顯著熱力圖中之后的包圍框；采用條件隨機場模型對所述置零后的顯著熱力圖進行優化處理，得到目標顯著熱力圖；對所述目標顯著熱力圖進行二值化處理，得到所述待檢測對象的前景掩碼圖像。

進一步地，按照目標尺寸對所述攜帶包圍框的待處理圖像進行裁剪，得到目標待處理圖像包括：按照預設擴張原則對所述攜帶包圍框的待處理圖像中的包圍框進行擴張處理，得到擴張處理后的待處理圖像；按照擴張處理后的包圍框對所述擴張處理后的待處理圖像進行裁剪，得到所述目標待處理圖像。