[發明專利]基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法

在審

• 申請號: 202110275614.0
• 申請日: 2021-03-15
• 公開（公告）號: CN112884893A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 丁浩;王彩玲;張曉峰;蔣國平
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 馬玉雯

1.一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，包括以下步驟：

(1)將俯視圖Ia和街景圖的語義圖Sg輸入到生成器1中，利用非對稱卷積神經網絡提取特征生成粗略的街景圖Ig’和特征圖F1；

(2)將步驟(1)中生成的粗略的街景圖Ig’輸入到生成器2中，利用非對稱卷積神經網絡提取特征生成相應的粗略的語義圖Sg’和特征圖F2；

(3)將步驟(1)和步驟(2)中的特征圖F1和F2在通道上連接到一起輸入到SE模塊中，生成精細的特征圖F1’和F2’；

(4)將俯視圖Ia和步驟(1)中生成的粗略的街景圖Ig’在通道上連接起來，然后再和步驟(3)中生成的精細的特征圖F1’和F2’連接起來輸入到生成器3中，利用非對稱卷積神經網絡提取特征生成精細的街景圖Ig”；

(5)將步驟(4)中生成的精細的街景圖Ig”輸入到生成器2中，利用非對稱卷積神經網絡提取特征生成相應的精細的語義圖Sg”作為最終的輸出；

(6)通過損失函數不斷地更新學習參數從而生成更加真實的結果。

2.根據權利要求1所述的一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，所述利用非對稱卷積神經網絡提取特征的具體方法是：

在非對稱卷積網絡中，使用1x3、3x1和3x3的卷積組來替代原來的U-net網絡中使用的3x3的卷積核來提取特征；

在訓練階段，非對稱卷積神經網絡將這三個卷積層的計算結果進行融合，獲得最終輸出；

在測試階段，使用融合后的卷積核參數來初始化現有的網絡，使網絡結構和原始網絡完全一樣，網絡參數采用了特征提取能力更強的參數即融合后的卷積核參數，因此在測試階段不會增加計算量。

3.根據權利要求1所述的一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，在所述非對稱卷積神經網絡提取過程中，使用空間自適應歸一化代替傳統的批歸一化，生成空間自適應縮放因子，在歸一化過程中保留了語義信息；

在所述空間自適應歸一化中，仿射層是從語義分割圖中學習得來；除了現在所學得的仿射參數需要空間自適應，還要將每個語義標簽使用不同的scaling和bias。

4.根據權利要求1所述的一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，所述步驟(3)中，將步驟(1)和步驟(2)中的特征圖F1和F2在通道上連接到一起輸入到SE模塊中，生成精細的特征圖F1’和F2’的具體方法是：

31)SE模塊首先對卷積得到的特征圖F1和F2進行壓縮操作，得到通道級的全局特征；

32)然后對得到的全局特征進行激活操作，學習各個通道間的關系，也得到不同通道的權重；

33)最后用步驟32)中得到的不同通道的權重乘以原來的特征圖F1和F2得到最終精細的特征圖F1’和F2’。

5.根據權利要求1所述的一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，所述步驟(2)和步驟(5)中使用同一個生成器，通過在兩個階段共享參數來兩次使用單個生成器，以降低網絡容量。

6.根據權利要求1所述的一種基于非對稱卷積網絡和注意力機制的跨視角圖像生成方法，其特征在于，所述步驟(6)中，通過損失函數不斷地更新學習參數從而生成更加真實的結果的具體方法是：

把語義圖作為輸入，提出的語義圖引導的對抗性損失可以表達如下，

其中Ia、Ig、Sg分別表示俯視圖、街景圖、語義圖，Ig’和Sg’表示粗略的街景圖和粗略的語義圖，Ig”和Sg”表示精細的街景圖和精細的語義圖，L_cGAN表示對抗損失，E表示分布函數的期望值，D表示判別器的輸出，符號⊕表示通道級連接操作；

其中L_cGAN(Ia，Ig’)和L_cGAN(Ia，Ig”)是傳統GAN中定義的對抗性損失；

總損失如下：

其中Lⁱ_p是使用L1重建分別計算生成的圖像Ig’、Sg’、Ig”和Sg”與相應的真實圖像之間的損失；L_tv是最終合成圖像Ig”上的總變化正則化；λ_i和λ_tv是控制不同目標相對重要性的權衡參數；G₁表示生成器1，G₂表示生成器2，G₃表示生成器3，D₁表示判別器1，D₂表示判別器2。