[發明專利]基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法

有效

• 申請號: 202110796509.1
• 申請日: 2021-07-14
• 公開（公告）號: CN113538218B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王越;陳澤希;郭佳昕;許學成;王云凱;熊蓉
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/73;G06N3/0475;G06N3/045;G06N3/094;G06N3/096
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，步驟如下：

S1、獲取由圖像樣本對構成的原始數據集，每一組圖像樣本對中包含同時存在位姿差異和風格差異的第一源圖像O₁和第一目標圖像T₁；

S2、針對原始數據集中的每一組圖像樣本對，將第一源圖像O₁和第一目標圖像T₁各自經過3自由度變換P_r，分別生成第二源圖像O₂和第二目標圖像T₂，形成由四張圖像組成的一組樣本組合；所述3自由度變換P_r中包含隨機生成的橫豎平移以及旋轉三種位姿變換，且同一組圖像樣本對中的第一源圖像O₁和第一目標圖像T₁所采用的3自由度變換P_R保持相同；

S3、將原始數據集中的所述樣本組合作為訓練樣本輸入對抗生成網絡中，由對抗生成網絡分別對第一源圖像O₁和第二源圖像O₂進行風格變換生成第三目標圖像FakeT₁和第四目標圖像FakeT₂，通過最小化輸入訓練樣本的總損失函數訓練對抗生成網絡，得到弱配對圖像風格遷移網絡；

所述總損失函數中，單個訓練樣本的損失函數L由三部分組成：

L＝L_D+L_S+L_M

其中第一部分損失L_D＝(T₁-FakeT₁)+(T₂-FakeT₂)，第二部分損失L_S＝P₃-P₄，第三部分損失L_M＝P_r-P_e；

式中：P₃為第三目標圖像FakeT₁與第一目標圖像T₁之間的相對位姿，P₄為第四目標圖像FakeT₂與第二目標圖像T₂之間的相對位姿，P_e為第三目標圖像FakeT₁與第四目標圖像FakeT₂之間的相對位姿；

S4、將待風格化圖像輸入所述弱配對圖像風格遷移網絡中，得到位姿不變但風格化后的圖像。

2.如權利要求1所述的基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，所述原始數據集中的圖像均為機器人運行路徑上的鳥瞰圖。

3.如權利要求2所述的基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，所述原始數據集的構建方法如下：

在第一圖像采集環境下，在機器人運行路徑上的隨機地點A采集第一鳥瞰圖；然后在與第一圖像采集環境不同的第二圖像采集環境下，對隨機地點A施加隨機平移得到隨機地點B，通過對采集視角隨機施加水平旋轉后再次對隨機地點B采集第二鳥瞰圖，然后將采集的第一鳥瞰圖和第二鳥瞰圖分別作為第一源圖像O₁和第一目標圖像T₁，從而構成一組圖像樣本對；不斷重復，將得到的一系列圖像樣本對構建為原始數據集。

4.如權利要求3所述的基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，所述第一圖像采集環境和第二圖像采集環境之間的差別為天氣不同或采集圖像所用傳感器不同。

5.如權利要求3所述的基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，所述原始數據集通過在仿真環境中獲取鳥瞰圖構建。

6.如權利要求1所述的基于位姿自監督對抗生成網絡的弱配對圖像風格遷移方法，其特征在于，任意兩個圖像之間的所述相對位姿由可微分的位姿求解器進行求解。