[發明專利]一種基于生成對抗網絡的藝術字圖像合成系統及方法

在審

• 申請號: 202111421417.1
• 申請日: 2021-11-26
• 公開（公告）號: CN114037644A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 劉印全;陳莊
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/40;G06T3/00;G06N3/04;G06K9/62;G06V10/54;G06V10/82
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.一種基于生成對抗網絡的藝術字圖像合成系統，其特征在于，包括：圖像預處理模塊：使用形態學方法預處理藝術字圖片和風格圖像，用于限制網絡學習字形變換時的字形變換程度；計算背景色與文字筆畫和風格圖像內物體輪廓之間距離，以對比色區分距離的遠近程度；

結構變換模塊：將不同預處理參數下的文字圖像和風格圖像與源圖像映射到同一個域中，以次學習到如何將文字的筆畫的邊緣輪廓變換為風格圖像的輪廓。此模塊包含一個生成器和一個判別器，生成器是一個轉換網絡，由若干卷積層，殘差層和反卷積層三者依次連接組成的網絡結構，判別器有兩部分，分別是全連接的判別器和一個全卷積的生成對抗網絡判別器；全連接的判別器用于計算輸出圖像與輸入圖像的逐像素級的損失值，全卷積的生成對抗網絡判別器用于評判整個輸出圖像與輸入圖像整體的損失值；

紋理變換模塊：用于通過循環生成對抗網絡在結構變換的圖像上添加紋理信息。

2.根據權利要1所述的一種基于生成對抗網絡的藝術字圖像合成系統，其特征在于，所述采用形態學方法預處理藝術字圖片，用于限制網絡學習字形變換時的字形變換程度，具體包括：

形態學方法的步驟是使用圖像處理中的腐蝕操作，通過設置腐蝕操作中的卷積核的大小，限制結構變換階段筆畫之間的距離。

3.根據權利要2所述的一種基于生成對抗網絡的藝術字圖像合成系統，其特征在于，所述結構變換模塊的生成器的損失為：對于訓練生成器G_B，文字數據集中一個圖像為t，從區間[0,1]中取出一個參數值表示不同的形態學變換程度，生成器的損失函數為：

表示數學期望，表示結構變換模塊的生成器的損失值，表示輸入圖像在以參數作為預處理參數的情況下，結構變換模塊的生成器的輸出，t表示一個文字圖像；

結構變換模塊還需要判別器D_B來約束生成器：

D_B學習判斷輸入圖像的真實性以及給定的平滑圖像和是否和參數相匹配，其中，表示結構變換模塊的判別器的損失值，總損失采取以下形式：

4.根據權利要1所述的一種基于生成對抗網絡的藝術字圖像合成系統，其特征在于，紋理變換模塊的判別器是一個全連接的神經網絡結構，通過判別器的輸出得到生成器生成圖像質量的好壞；

紋理變換模塊的生成器G_T，判別器D_T損失分別為：

指的是輸入是x和y時的數學期望，G_T(x)指的是紋理變換模塊的生成器在輸入x圖像后的輸出。x指的是經過預處理后不含紋理的圖像，y表示的是包含紋理的正常圖像。

5.根據權利要1-4任一項所述的一種基于生成對抗網絡的藝術字圖像合成系統，其特征在于，還包括距離變換損失模塊：用于分別計算文字圖像C與距離圖像D，紋理變換模塊生成的圖像X與距離圖像D的距離損失圖像，損失函數為：

6.一種基于生成對抗網絡的藝術字圖像合成方法，其特征在于，包括以下步驟：圖像預處理步驟：使用形態學方法預處理藝術字圖片和風格圖像，用于限制網絡學習字形變換時的字形變換程度；計算背景色與文字筆畫和風格圖像內物體輪廓之間距離，以對比色區分距離的遠近程度；

結構變換步驟：將不同預處理參數下的文字圖像和風格圖像與源圖像映射到同一個域中，以次學習到如何將文字的筆畫的邊緣輪廓變換為風格圖像的輪廓。此模塊包含一個生成器和一個判別器，生成器是一個轉換網絡，由若干卷積層，殘差層和反卷積層三者依次連接組成的網絡結構，判別器有兩部分，分別是全連接的判別器和一個全卷積的生成對抗網絡判別器；全連接的判別器用于計算輸出圖像與輸入圖像的逐像素級的損失值，全卷積的生成對抗網絡判別器用于評判整個輸出圖像與輸入圖像整體的損失值；

紋理變換步驟：用于通過循環生成對抗網絡在結構變換的圖像上添加紋理信息。