[發明專利]基于風格遷移的航空攝影圖像目標樣本生成方法

有效

• 申請號: 202010427963.5
• 申請日: 2020-05-20
• 公開（公告）號: CN111783525B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 劉衛星;洪海龍;毛文舉;安雨;陳東;羅斌;劉軍;李成源;王晨捷;翁漢思
• 申請（專利權）人: 中國人民解放軍93114部隊;武漢大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/20;G06V10/26;G06V10/774;G06T17/00
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種基于風格遷移的航空攝影圖像目標樣本生成方法，包括以下步驟：S1：在航空攝影圖像中，選取具有代表性的多種地物場景的圖像并裁剪；S2：隨機選取S1中的航空攝影圖像，將其設置為虛擬場景的背景圖像；S3：對三維模型進行預處理；S4：將三維模型導入虛擬場景中；S5：輸出合成樣本圖像；S6：輸出標簽文件；S7：構建風格遷移算法的訓練數據集；S8：構造循環一致生成對抗網絡；S9：利用訓練完成的風格遷移網絡模型，推理得到逼真合成樣本圖像，并將S6中得到的標簽數據與逼真合成樣本圖像對應，構成逼真合成樣本。本發明為航空攝影圖像目標檢測的合成樣本圖像的生成和標注提供了一種高效的手段。

技術領域

本發明涉及一種基于風格遷移的航空攝影圖像目標樣本生成方法，屬于遙感圖像處理技術領域。

背景技術

近年來依賴于大規模標記訓練數據的深度卷積神經網絡在遙感目標檢測方面取得了良好的性能，但是目前遙感數據集大多是手工標注的，這種構建訓練數據集的方法效率較低，特別是當標簽難以手動指定或者難以獲得豐富的樣本時，這些局限性使得訓練神經網絡成本很高。

眾包三維模型可以在互聯網上快速獲取，為生成無限量的訓練數據提供了新的思路。通過繪制虛擬場景中的三維模型，可以自動生成帶有訓練標簽的二維合成樣本圖像。一般來說，合成樣本圖像通常缺乏紋理和上下文，而真實樣本圖像通常具有豐富的視覺細節。為了減少合成圖像到真實圖像的差距，一種流行的方法是域隨機化，其特點是創建具有隨機化特性(例如顏色、紋理、光源)的各種模擬環境。與傳統的模擬器相比，域隨機化在增加合成數據的可樣性方面非常有效，然而利用域隨機化方法得到樣本圖像與真實樣本圖像依然有較大的差距。

發明內容

本發明的目的是提供一種基于風格遷移的航空攝影圖像目標樣本生成方法，該方法為航空攝影圖像目標檢測的合成樣本圖像的生成和標注提供了一種高效的手段。

為達到上述目的，本發明采用的技術方案是：一種基于風格遷移的航空攝影圖像目標樣本生成方法，包括以下步驟：

S1：在航空攝影圖像中，選取具有代表性的多種地物場景的圖像并裁剪；

S2：基于Three.js渲染庫構建虛擬場景，隨機選取S1中的航空攝影圖像，將其設置為虛擬場景的背景圖像；

S3：在三維模型中，選取典型地物目標，利用Sketch Up軟件對三維模型進行預處理，所述預處理包括坐標歸零、尺寸歸一化和文件格式轉換；

S4：將經過S3預處理后的三維模型導入至S2中構建的虛擬場景中，隨機設置三維模型的材質、顏色、位置、大小及姿態參數；

S5：模仿航空遙感，設置虛擬場景中的相機視角，在虛擬場景中加入點光源與環境光，輸出合成樣本圖像；

S6：根據相機的姿態和位置信息，計算三維模型包圍盒在S5中得到的合成樣本圖像上的投影，獲得二維包圍盒的設備坐標系下的坐標，再將獲得的坐標由設備坐標系下轉換到屏幕坐標系下，并與S5中得到的合成樣本圖像對應，輸出標簽文件，所述標簽文件包括圖像名稱、圖像尺寸、圖像包含的目標類別、邊界框數據；

S7：以S5中得到的合成樣本圖像作為源域數據，選取包含典型地物目標的真實樣本圖像作為目標域數據，構建風格遷移算法的訓練數據集；

S8：構造循環一致生成對抗網絡，設置網絡的超參數(如圖像大小、學習率、迭代次數、批量大小、對抗損失和循環一致損失的比例參數等)，訓練得到將真實樣本圖像風格遷移至合成樣本圖像的網絡模型參數；

S9：利用訓練完成的風格遷移網絡模型，推理得到逼真合成樣本圖像，并將S6中得到的標簽數據與逼真合成樣本圖像對應，構成逼真合成樣本。

上述技術方案中進一步改進的方案如下：

1.上述方案中，S1中所述的地物場景圖像對應的地物場景中不包含S3中所述的典型地物目標。