[發明專利]基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法

在審

• 申請號: 202110275614.0
• 申請日: 2021-03-15
• 公開（公告）號: CN112884893A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 丁浩;王彩玲;張曉峰;蔣國平
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 馬玉雯

本發明公開了一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，該網絡結構由兩個部分組成：一階段生成網絡和二階段生成網絡。首先，將原始輸入送到一階段生成網絡中生成粗略的結果，然后將一階段網絡生成的粗略結果作為輸入送到二階段生成網絡中生成精細的結果，將其作為最終的結果輸出。本方法在U?net網絡中嵌入非對稱卷積來提高網絡在不同尺度上提取對象特征的能力，并且使用空間自適應歸一化代替傳統的批歸一化。此外，為了更好地學習來自不同視圖的圖像之間的對應關系，本方法使用SE模塊來細化中間特征圖，從而生成更真實的圖像。最后，本方法還設計了一個額外的損失函數來增強網絡的學習能力，從而實現更穩定的優化過程。

技術領域

本發明涉及跨視角圖像生成領域，具體為一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法。

背景技術

圖像翻譯是近年來一種基于深度學習的熱門技術，深度學習技術非常適合應用于圖像翻譯當中，最初在圖像轉換方向具有較好效果的是卷積神經網絡，卷積神經網絡對圖像特征的高層特征的抽取能夠使圖像風格和內容進行分離。近年來，生成式對抗網絡(GAN)成為了人工智能領域熱門的研究方向，GAN在圖像領域任務表現突出，GAN識別圖像時，不但識別了圖片的內容，還可以生成各種不同內容的圖片，這種生成模型提出了一種全新的概念，大量的研究者投入到了GAN的研究當中。

跨視角圖片生成是圖像翻譯中一個長期存在的問題。首先，空中圖像覆蓋的區域比街景圖像更寬，而街景圖像包含更多關于物體(如房屋，道路，樹木)的細節。因此，航空圖像中的信息不僅噪聲太大，而且對街景圖像合成的信息量也較少。同樣，一個網絡需要估計很多區域來合成航空圖像。第二，像汽車這樣的瞬變物體(或人)在圖像對應的位置不存在。它們是在不同的時間拍攝的。第三，街景不同的房屋鳥瞰看上去相似。這導致合成的街景圖像包含具有相似顏色和紋理的建筑物，阻礙了生成建筑物的多樣性。第四個挑戰是由于通暢和閉塞而在兩個視圖中的道路之間的變化。盡管道路邊緣在街道視圖中幾乎是線性的和可見的，但在空中觀察它們通常被密集的遮擋和是扭曲的。第五，當使用模型生成的分割圖作為地面真實值以提高生成圖像的質量時，就像這里所做的那樣，標簽噪聲和模型誤差會在結果中引入一些偽像。

GAN應用了博弈論的思想完成了圖像與圖像之間的轉換，在深度學習中的無監督學習表現良好，同時，這種算法可以大大的降低人工添加標簽的成本。但由于GAN存在著如訓練不穩定，模式崩潰等缺點，因此，提高GAN在圖像翻譯的穩定性及多樣性變非常有意義，在未來也有著重要的應用前景。

發明內容

為了彌補以上不足，本發明提出了一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，能夠實現生成更加接近真實的圖像。

本發明采用以下技術方案：

一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，包括以下步驟：

(1)將俯視圖Ia和街景圖的語義圖Sg輸入到生成器1中，利用非對稱卷積神經網絡提取特征生成粗略的街景圖Ig’和特征圖F1；

(2)將步驟(1)中生成的粗略的街景圖Ig’輸入到生成器2中，利用非對稱卷積神經網絡提取特征生成相應的粗略的語義圖Sg’和特征圖F2；

(3)將步驟(1)和步驟(2)中的特征圖F1和F2在通道上連接到一起輸入到SE模塊中，生成精細的特征圖F1’和F2’；

(4)將俯視圖Ia和步驟(1)中生成的粗略的街景圖Ig’在通道上連接起來，然后再和步驟(3)中生成的精細的特征圖F1’和F2’連接起來輸入到生成器3中，利用非對稱卷積神經網絡提取特征生成精細的街景圖Ig”；

(5)將步驟(4)中生成的精細的街景圖Ig”輸入到生成器2中，利用非對稱卷積神經網絡提取特征生成相應的精細的語義圖Sg”作為最終的輸出；

(6)通過損失函數不斷地更新學習參數從而生成更加真實的結果。