[發明專利]一種基于隱空間操作和文本引導的自適應圖像編輯方法

在審

• 申請號: 202211267694.6
• 申請日: 2022-10-17
• 公開（公告）號: CN115797503A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 鄧成;潘思多;張茲琪;魏坤;楊旭
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06V10/82;G06V10/80;G06V30/19
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 萬艷艷

本發明提供的一種基于隱空間操作和文本引導的自適應圖像編輯方法，將待編輯圖像輸入至訓練好的自適應方向隱空間映射ADLM網絡，通過對圖像自適應的逐信道組操作，可以提高圖像編輯的效率，此外通過利用多模態融合網絡的語義一致性損失，強制對齊預估編輯圖像與對應的歷史圖像之間的差異值，與給定的描述文本的語義變化方向，以實現精確對齊圖像屬性與文本提示之間的一致性關系，確保ADLM網絡對待編輯圖像進行逐信道組操作的精確屬性解耦，同時提出基于離散空間頻率的重建損失，用于保留圖像的不相關部分，從而確保編輯過程與文本提示不相關的部分在編輯時不被修改，以提高輸出預估編輯圖像的完整性。

技術領域

本發明屬于圖像編輯技術領域，具體涉及一種基于隱空間操作和文本引導的自適應圖像編輯方法。

背景技術

圖像編輯是一種通過修飾圖像從而實現用戶需求的編輯技術，為了保證被編輯的圖像滿足要求和興趣，圖像編輯任務同時應對兩個挑戰：(1)編輯相關性：根據給定條件精確編輯相關屬性；(2)保持不相關性：不相關的部分(如標識信息、背景或其他屬性)在編輯時不可以修改。由于屬性的強耦合，同時滿足這兩個要求是一項棘手的任務。

針對上述問題，近年來的各種方法大多以兩種方式探討屬性解耦的問題。Jeong-gi Kwak和David K Han等人在2020年的European Conference on Computer Vision會議上發表的名為“Cafe-gan：Arbitrary face attribute editing with complementaryattention feature”的文章，文章采用空間注意力檢測的方式，通過在空間上搜索特定的支持區域來解耦屬性，只在這樣一個有限的區域內對圖像進行操作。顯然，當編輯的屬性是全局屬性時，這些方法可能會忽略支持區域之外必要的細節，比如“化妝”或“年齡”。YujunShen和Jinjin Gu等人在2020年的Computer Vision and Pattern Recognition會議上發表的名為“Interpreting the latent space of gans for semantic face editing”的文章，通過預訓練GAN進行隱空間分解。這類方法以高級語義為指導，在隱空間中對圖像進行處理，更適合處理全局和局部屬性編輯。然而，由于語義的過度耦合，這些方法在沒有強有力的監督的情況下很難對特定的屬性進行操作，因此上述圖像編輯方法并不能滿足客戶需求。

發明內容

為了解決現有技術中存在的上述問題，本發明提供了一種基于隱空間操作和文本引導的自適應圖像編輯方法。本發明要解決的技術問題通過以下技術方案實現：

本發明提供的一種基于隱空間操作和文本引導的自適應圖像編輯方法，包括：

步驟1，獲取歷史圖像組成的訓練樣本集，并為每張歷史圖像增加用于描述圖像屬性的描述文本；

步驟2，提取每張歷史圖像的圖像特征，并對所述圖像特征進行多風格的反演編碼，獲得每張歷史圖像的隱向量；

步驟3，將所述每張歷史圖像的隱向量輸入至已構建的自適應方向隱空間映射ADLM網絡，以使ADLM網絡將執行下述過程：

將所述每張歷史圖像的隱向量分為g個信道組；將每個信道組的隱向量隱射至W+空間，獲得解耦的不同屬性特征；計算每個屬性特征的范數并從大到小進行排序，選擇范數排序在前k個信道組對應的目標屬性特征，對所述目標屬性特征進行隱層操作，在隱層操作之后與每個信道組未映射之前的隱向量作殘差處理，并通過監督學習的方式，輸出每張歷史圖像的預估編輯圖像；

步驟4，利用多模態融合網絡，根據每張預估編輯圖像與對應歷史圖像之間的差異值，計算給定的描述文本與差異值的語義一致性損失以及每張歷史圖像與預估編輯圖像之間的重建損失，并按照使得所述語義一致性損失以及所述重建損失減少的方向，調整所述ADLM網絡的參數以訓練所述ADLM網絡，直至達到訓練截止條件，獲得訓練好的ADLM網絡；