[發明專利]基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法

有效

• 申請號: 202110796509.1
• 申請日: 2021-07-14
• 公開（公告）號: CN113538218B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王越;陳澤希;郭佳昕;許學成;王云凱;熊蓉
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/73;G06N3/0475;G06N3/045;G06N3/094;G06N3/096
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發明公開了一種基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，屬于圖像處理領域。本發明適用于弱配對圖像的風格遷移，其利用有一定重疊的不同風格圖片進行對抗神經網絡的模型訓練，使其對位姿不敏感并專注于風格的學習，由此在實際應用過程中可以將源風格轉換為目標風格但保持位姿不變。另外在上述對抗神經網絡的模型訓練過程中，本發明引入了一種能夠對任意兩張圖像的相對位姿進行估計的可微分的位姿求解器，將相位相關算法優化為可微分，并將其嵌入到端到端學習網絡框架中實現位姿估計。本發明能夠實現弱配對數據的風格遷移，為機器人自定位技術提供支撐。

技術領域

本發明屬于計算機視覺風格遷移領域，具體涉及一種通過位姿自監督對抗生成網絡對圖片進行風格遷移。

背景技術

圖像風格遷移賦予了機器人對環境更高層次的理解，幫助機器人適應不同的場景。因此，在一個場景上訓練或配置的任務，通過這種遷移學習可以很容易地在其他場景上進行。這種設置對多種機器人任務極有幫助，例如將在晴天訓練的探測器轉移到雨夜，以及地點重識別，和跨領域的語義分割。

目前，在圖像風格遷移網絡的的訓練過程中，大多數工作集中在完全配對的圖像風格遷移或完全未配對的圖像風格遷移。在配對圖像遷移中，來自兩個風格的兩個圖像的內容是完全相同的。為了處理這個任務，Pix2Pix提出了一個基于生成對抗網絡(GAN)的解決方案，并取得了良好的性能。然而，在大多數機器人應用中，獲得完全配對的數據是不現實的。為了解決這個問題，CycleGAN?能夠用未配對的圖像訓練風格轉移模型，然而其缺點也是顯而易見的，主要是以下兩方面：(1)學習到的內容和風格之間的界限可能是模糊的，導致風格遷移的失敗，因為這些無監督的方法忽略了監督方法所帶來的準確性；(2)大量使用循環一致性導致訓練的困難。

然而，介于完全配對和完全未配對的數據之間有一個中間的可利用領域，可以彌補上述的缺陷。在機器人任務中，通過各種類型的傳感器，即使很難收集到完全配對的數據，但收集到有大量重疊的數據是可行的，本發明將其稱為弱配對數據。由于機器人采集的數據一般是圖像，因此對于機器人傳感器采集數據，弱配對數據即弱配對圖像?？紤]到弱配對數據的定義，在弱配對數據上訓練的風格遷移器可以有效提升不同域之間的機器人任務的完成度。

對于已配對的數據，兩張具有不同風格的圖片，有完美的對齊內容。對于未配對的數據，兩張圖片在數據中是不相關的。對于弱配對的數據，內容相似，但在位姿上錯位。由于機器人攜帶多傳感器來感知幾何測量，不同風格的圖像的粗略對齊是合理的，因此，我們認為這樣的設定是值得處理的。

我們將弱配對圖像風格遷移表述為利用原始圖像I_o對目標圖像I_t進行生成的過程。

I_t＝T(f(I_o),ξ)

其中f和T是風格遷移過程，以及圖像的幾何變換過程，ξ是兩幅圖像之間的相對位姿，它是T的參數。

弱配對數據風格遷移的目的是學習一個網絡N_t，從數據集I_o,I_t中近似f，從而用N_t遷移原始圖像。這個問題的挑戰在于如何保持所學函數N_t只遷移風格，而不改變原始圖像的位姿。簡單地學習兩個圖像之間的網絡N_t顯然會導致風格、位姿和內容糾纏在一起。另一方面，將圖像對視為未配對，并沒有利用有界的ξ的信息，留下了很大的改進空間。拋開成對圖像的完全監督方法，無監督方法很容易被弱配對圖像之間復雜的相對位姿所迷惑，并錯過了像素級對應所帶來的優勢。

發明內容

本發明的目的在于解決現有技術中風格遷移時無法遷移風格，而不改變原始圖像位姿的問題，并提供一種基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法。