[發明專利]一種基于生成對抗網絡的藝術字圖像合成系統及方法

在審

• 申請號: 202111421417.1
• 申請日: 2021-11-26
• 公開（公告）號: CN114037644A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 劉印全;陳莊
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/40;G06T3/00;G06N3/04;G06K9/62;G06V10/54;G06V10/82
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

本發明請求保護一種基于生成對抗網絡的藝術字圖像合成系統及方法，包括：圖像預處理模塊：用于采用形態學方法預處理藝術字圖片，用于限制網絡學習字形變換時的字形變換程度；結構變換模塊：包含一個生成器和一個判別器，生成器是一個轉換網絡，由若干卷積層，殘差層和反卷積層三者依次連接組成的網絡結構，判別器有兩部分，分別是全連接的判別器和一個全卷積的生成對抗網絡判別器；紋理變換模塊：用于通過循環生成對抗網絡給結構變換的圖像添加紋理。本發明利用生成對抗網絡的特性來引導生成質量越來越好的藝術字圖片。采用本發明的系統能夠生成各種樣式的藝術字，可以通過關鍵詞生成商業產品的海報，提取網絡中藝術字的風格效果。

技術領域

本發明屬于圖像處理領域，尤其涉及圖像合成技術。

背景技術

隨著人工智能領域中深度學習的發展，圖像風格遷移和生成對抗網絡的不斷迭代改進，藝術字風格遷移的研究成為了研究的熱點。一般的圖像風格遷移的過程為，給定一個參考圖像和目標圖像，風格遷移系統可以將參考圖像的風格遷移到目標圖像上，實現風格遷移。文字效果風格遷移旨在以風格圖像渲染文字圖像，從而產生文字效果。借助生成對抗網絡，可以對現有的經過復雜設計的藝術字進行類比，對其他文字應用文字效果，滿足不同的任務。可以通過使用者給定的關鍵詞生成商業產品的海報，讓文字可以更好地表達產品的主要特點。精心設計的具有特殊效果的字體相比一般字體更具有吸引力，能夠很好地反映使用者的想法和感受，在出版物，廣告和各種可以自定義字體的軟件中，例如社交軟件QQ，智能手機的主題字體等，這些字體滿足了大眾傳媒的多方位、多層面的需求。

一般的風格遷移使用的是卷積神經網絡模型，此模型是經過圖像分類任務訓練后的模型，訓練后的圖像分類模型可以很好地分離圖像中的語義與風格，網絡中不同層的輸出作為語義損失和風格損失，通過梯度下降進行迭代最小化，這樣生成的圖片就可以同時保留目標圖像的語義信息和參考圖像的風格信息。

現有的方法對于筆畫比較復雜的文字，會生成鬼影，從而影響用戶對文字的辨識。本方法采用形態學方法預處理藝術字圖片，目的在于限制網絡學習字形變換時的字形變換程度，并在訓練紋理網絡時加入距離變換損失來限制紋理轉移過程，更好地學習形狀和紋理特征，通過判別器對生成器生成的圖片質量進行判斷，利用生成對抗網絡的特性來引導生成質量越來越好的藝術字圖片。采用本發明的系統能夠生成各種樣式的藝術字，可以通過關鍵詞生成商業產品的海報，提取網絡中藝術字的風格效果。

經過檢索，最接近的現有技術為，CN111971689A，一種計算機實現的方法，其用于使用經訓練的統計學習模型來合成醫學圖像，所述方法包括：接收使用第一成像模態類型獲得的醫學成像數據；對所接收的醫學成像數據應用所述經訓練的統計學習模型，以合成對應于不同的第二成像模態類型的醫學圖像；以及提供所合成的醫學圖像以供呈現或用于進一步處理；其中，所述經訓練的統計學習模型是至少部分地使用在模型輸入處提供的訓練成像數據與模型輸出處的合成成像數據之間的相似度確定而建立的，所述訓練成像數據對應于所述第一成像模態類型，并且所述合成成像數據對應于所述第二成像模態類型；并且其中，所述經訓練的統計學習模型是至少部分地使用單獨的統計學習模型建立的，所述單獨的統計學習模型被建立成在對應于所述第二成像模態的實際成像數據與所述合成成像數據之間進行判別。該技術屬于生成對抗網絡的應用，但是，在圖像的風格遷移領域，往往需要的是兩個不同種類，不同域之間的圖像做變換，上述技術的方法的第一和第二模態類型圖像的差距并非很大。

本發明中的結構變換模塊使用的生成對抗網絡可以將文字的筆畫同其他圖像的輪廓結構映射到同一空間，可以克服上述方法的不足。