[發明專利]基于語義特征變換的跨域圖像轉換方法、計算機設備和存儲介質

有效

• 申請號: 202010719069.5
• 申請日: 2020-07-23
• 公開（公告）號: CN112001839B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 趙磊;王志忠;仇禮鴻;張惠銘;莫啟航;林思寰;陳海博;李艾琳;左智文;邢衛;魯東明
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 杭州合信專利代理事務所(普通合伙) 33337
• 代理人: 劉靜靜

1.基于語義特征變換的跨域圖像轉換方法，其特征在于，包括：

獲取第一圖像和第二圖像，其中第一圖像為參照圖像，第二圖像為依據所述第一圖像進行跨域轉換的需轉換圖像；

將所述第一圖像以及第二圖像輸入語義特征提取網絡，分別得到與所述第一圖像對應的第一語義特征，以及與所述第二圖像對應的第二語義特征；

將所述第一語義特征以及第二語義特征輸入訓練后的跨域圖像深度神經學習網絡，得到具有第一圖像特征的跨域圖像；

訓練所述跨域圖像深度神經學習網絡包括：

獲取第一訓練圖像以及第二訓練圖像，其中第一訓練圖像與第二訓練圖像分別以隨機采樣的方式從對應的第一圖像域與第二圖像域得到；

將所述第一訓練圖像以及第訓練二圖像輸入語義特征提取網絡，分別得到與所述第一訓練圖像對應的第一訓練語義特征，以及與所述第二訓練圖像對應的第二訓練語義特征；

將所述第一訓練語義特征與第二訓練語義特征輸入語義特征對抗網絡，得到與所述第一訓練圖像相關的第二訓練轉換語義特征，并計算特征損失函數；

將所述第二訓練轉換語義特征、第一訓練圖像以及第二訓練圖像輸入圖像對抗網絡，得到訓練跨域圖像，并計算圖片損失特征；

根據所述特征損失函數以及圖片損失特征計算得到總損失函數，若所述總損失函數符合預設標準，則得到訓練后的語義特征轉換器以及圖像生成器；

若所述總損失函數不符合預設標準，則調節所述語義特征轉換器以及圖像生成器的參數，再重新獲取第一訓練圖像和第二訓練圖像對所述跨域圖像深度神經學習網絡進行訓練，直至所述總損失函數符合預設標準；

將所述第一訓練語義特征與第二訓練語義特征輸入語義特征對抗網絡，得到與所述第一訓練圖像相關的第二訓練轉換語義特征，并計算特征損失函數包括：

其中，所述語義特征對抗網絡包括語義特征轉換器以及語義特征判別器；

將所述第二訓練語義特征輸入所述語義特征轉換器，得到第二訓練轉換語義特征；

將所述第一訓練語義特征以及第二訓練轉換語義特征輸入所述語義特征判別器，得到第一特征損失函數；

將所述第二訓練轉換語義特征輸入所述語義特征轉換器進行逆轉換，將得到的轉換結果與所述第二訓練轉換語義特征進行計算，得到第二特征損失函數；

根據所述第一特征損失函數以及第二特征損失函數進行計算，得到特征損失函數。

2.根據權利要求1所述的跨域圖像轉換方法，其特征在于，將所述第一語義特征以及第二語義特征輸入訓練后的跨域圖像深度神經學習網絡，得到具有第一圖像特征的跨域圖像包括：

其中，所述訓練后的跨域圖像深度神經學習網絡包括：訓練后的語義特征轉換器以及圖像生成器；

將所述第一語義特征與第二語義特征輸入所述訓練后的語義特征轉換器，得到與所述第一圖像相關的第二轉換語義特征；

將所述第二轉換語義特征輸入所述訓練后的圖像生成器，得到跨域圖像。

3.根據權利要求1所述的跨域圖像轉換方法，其特征在于，

所述語義特征轉換器包括2個殘差塊結構；

所述語義特征判別器包括5個卷積層。

4.根據權利要求1所述的跨域圖像轉換方法，其特征在于，將所述第二訓練轉換語義特征、第一訓練圖像以及第二訓練圖像輸入所述圖像對抗網絡，得到訓練跨域圖像，并計算圖片損失特征包括：

其中，所述圖像對抗網絡包括圖像生成器以及圖像判別器；

將所述第二訓練轉換語義特征輸入所述圖像生成器，得到所述訓練跨域圖像以及第二重構圖像；

將所述第二訓練圖像、第二重構圖像以及第一訓練圖像輸入所述圖像判別器，得到圖像損失函數。

5.根據權利要求4所述的跨域圖像轉換方法，其特征在于，

所述圖像生成器包括3個殘差缺塊結構以及2層反卷積；

所述圖像判別器包括7個卷積層。

6.根據權利要求1-5任一項所述的跨域圖像轉換方法，其特征在于，還包括：

將所述第二圖像作為參照圖像，將所述第一圖像作為依據所述第二圖像進行跨域轉換的需轉換圖像。