[發明專利]基于語義特征變換的跨域圖像轉換方法、計算機設備和存儲介質

有效

• 申請號: 202010719069.5
• 申請日: 2020-07-23
• 公開（公告）號: CN112001839B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 趙磊;王志忠;仇禮鴻;張惠銘;莫啟航;林思寰;陳海博;李艾琳;左智文;邢衛;魯東明
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 杭州合信專利代理事務所(普通合伙) 33337
• 代理人: 劉靜靜

本申請涉及一種基于語義特征變換的跨域圖像轉換方法、計算機設備和存儲介質，所述方法包括：獲取第一圖像和第二圖像，其中第一圖像為參照圖像，第二圖像為依據第一圖像進行跨域轉換的需轉換圖像；將第一圖像以及第二圖像輸入語義特征提取網絡，分別得到與第一圖像對應的第一語義特征，以及與第二圖像對應的第二語義特征；將第一語義特征以及第二語義特征輸入訓練后的跨域圖像深度神經學習網絡，得到具有第一圖像特征的跨域圖像。采用本方法能夠減少了原始圖像中冗余信息的干擾，生成的跨域圖像具有穩定性，并且應用比較廣泛。

技術領域

本申請涉及跨域圖像遷移技術領域，特別是涉及一種基于語義特征變換的跨域圖像轉換方法、計算機設備和存儲介質。

背景技術

用一類輸入圖像生成另一類輸出圖像，并且輸入圖像和輸出圖像存在一定語義對應關系的任務，都稱為跨域圖像轉換。近年來跨域圖像轉換技術的發展離不開人工智能技術的崛起。在2012年Imagenet大規模圖像識別比賽中，Alexnet以優異的成績獲得冠軍，引爆了人工智能新一輪的發展熱潮。之后，優秀的圖像分類網絡層出不窮，比如：VGG、InceptionNet、ResNet、DenseNet等等。除了圖像分類之外，深度學習神經網絡還在語義分割、圖像識別、物體檢測、風格遷移、自然語言處理、語音識別、推薦系統等領域有著越來越廣泛的應用。自從Gatys等人將深度學習技術應用于風格遷移領域，該領域便逐漸成為了一個熱門的研究方向。

在現有技術中，現有的大多數跨域圖像轉換算法在利用深度學習神經網絡從圖像級別進行圖像的轉換，但是圖像中的許多信息是冗余的，比如圖像中物體的顏色、紋理、與轉換無關的其它物體等等，這些信息對于判別這幅圖像可能有作用，但是對轉換來說，這些信息是沒有必要的。并且基于圖像級別的圖像轉換獲取的轉換圖像質量不高，不可避免的存在著模糊，或轉換失敗等問題，因此提高生成圖像的質量是當前在該領域需要解決的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠獲取高質量跨域圖像的基于語義特征變換的跨域圖像轉換方法、計算機設備和存儲介質。

一種基于語義特征變換的跨域圖像轉換方法，包括：

獲取第一圖像和第二圖像，其中第一圖像為參照圖像，第二圖像為依據所述第一圖像進行跨域轉換的需轉換圖像；

將所述第一圖像以及第二圖像輸入語義特征提取網絡，分別得到與所述第一圖像對應的第一語義特征，以及與所述第二圖像對應的第二語義特征；

將所述第一語義特征以及第二語義特征輸入訓練后的跨域圖像深度神經學習網絡，得到具有第一圖像特征的跨域圖像。

優選的，將所述第一語義特征以及第二語義特征輸入訓練后的跨域圖像深度神經學習網絡，得到具有第一圖像特征的跨域圖像包括：

其中，所述訓練后的跨域圖像深度神經學習網絡包括：訓練后的語義特征轉換器以及圖像生成器；

將所述第一語義特征與第二語義特征輸入所述訓練后的語義特征轉換器，得到與所述第一圖像相關的第二轉換語義特征；

將所述第二轉換語義特征輸入所述訓練后的圖像生成器，得到跨域圖像。

優選的，訓練所述跨域圖像深度神經學習網絡包括：

獲取第一訓練圖像以及第二訓練圖像，其中第一訓練圖像與第二訓練圖像分別以隨機采樣的方式從對應的第一圖像域與第二圖像域得到；

將所述第一訓練圖像以及第訓練二圖像輸入語義特征提取網絡，分別得到與所述第一訓練圖像對應的第一訓練語義特征，以及與所述第二訓練圖像對應的第二訓練語義特征；

將所述第一訓練語義特征與第二訓練語義特征輸入語義特征對抗網絡，得到與所述第一訓練圖像相關的第二訓練轉換語義特征，并計算特征損失函數；