[發明專利]一種跨域的大范圍場景生成方法

有效

• 申請號: 201910306469.0
• 申請日: 2019-04-16
• 公開（公告）號: CN110147733B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 曹先彬;羅曉燕;杜文博;楊燕丹
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 冀學軍

本發明公開了一種跨域的大范圍場景生成方法,屬于圖像生成技術領域；首先，設定目標場景中各背景的對應分布情況以及各前景目標的語義特征；根據背景各自的比例，隨機生成背景分割圖，再將每一個前景目標根據語義特征依次加入背景分割圖中；然后，將分割圖像與預先設定好的某特征向量進行融合；對特征融合后的圖像，利用神經網絡的多卷積層進行編碼，提取高級特征，得到高級語義特征圖，并利用殘差網絡進一步融合；最后，對融合的殘差結果，使用上采樣結構進行解碼；最終輸出彩色場景生成結果。本發明對于數據不足、樣本難以獲取的大范圍視角任務提供了數據生成的方法，并且省去了手動給出分割標注圖的過程，效果良好、實用性更強。

技術領域

本發明屬于圖像生成技術領域，涉及一種跨域的大范圍場景生成方法。

背景技術

近年來，隨著國家對低空領域使用權的不斷開放，飛行器經常被用來執行輔助災情巡查以及特殊場景監視等任務。在這些任務中，場景信息的獲取與分析是最為重要的環節之一，然而很多場景在實際操作中是第一次接觸，缺乏預先的經驗，對信息的分析帶來很大的挑戰。場景生成方法可以針對目標場景的特征進行模擬，對于場景數據難以提前獲取或數據缺失的情況均有不可估量的作用。

目前許多深度學習任務需要大量樣本作為訓練集，采用的算法也都是對樣本進行分類或者回歸，前提是樣本充足。針對樣本不足的情況，遷移學習方法可以將其他樣本集特征通過算法適當的遷移到新的樣本集上，但依舊存在不同樣本集之間的差別，無法達到較理想的結果。小樣本學習方法，如元學習，采用了一些網絡訓練技巧，能夠在樣本不足的情況下加速網絡的優化過程，但沒有從根本上解決樣本的問題。

對抗生成網絡提供了一種思路，可以人為地引導模型生成虛擬數據，當虛擬數據逼近真實數據時，可以近似代替真實數據，在數據不足或缺乏數據的情況下可以用于數據生成。

在大多數對抗生成網絡模型都是在高級語義層面進行優化，生成的圖像分辨率較低，細節比較模糊，無法對真實場景進行精細模擬，因而也不能應用到實際任務當中。

現有的逐像素生成法擁有較好的效果，它借助了神經網絡的卷積操作，提取低維特征，進一步用反卷積進行上采樣，得到逐像素復原后的模擬圖像，過程中采用了殘差網絡進行特征融合。但此方法由于整個網絡輸入需要一個與輸出等大小的分割標注圖，每一類物體所在區域用相同值的像素表示，這對輸入的要求較高，需要提前獲取分割標注圖，在一定程度上限制了其應用。

發明內容

本發明一種跨域的大范圍場景生成方法，采用現有的逐像素生成法，將簡單的場景描述作為輸入，通過特征可視化生成分割標注圖，不用手動提前給出分割標注圖，既可以生成關于場景圖的數據集，也可以通過語義特征人為引導網絡輸出想要的數據，對樣本少、數據難以獲取的任務有較大意義，為不同的任務需求提供了充足的選擇，是一個應用廣泛，效果突出的方法。

具體步驟包括：

步驟一、設定目標場景中各背景的對應分布情況以及各前景目標的語義特征；

背景包括：天空、陸地和海洋三類；對應的分布情況為各背景的像素所占的比例，分別用m₁，m₂和m₃表示。

語義特征包括：前景目標的種類，每類前景目標的數量，每類前景目標中每個目標各自的尺寸、姿態和坐標等。

前景目標的種類包括飛行器，車輛和船舶三類；

步驟二、根據背景各自的比例，隨機生成背景分割圖，再將每一個前景目標根據語義特征依次加入背景分割圖中。

首先，生成一張只有背景的分割圖：