[發明專利]一種基于自注意力機制的循環圖像翻譯方法

在審

• 申請號: 202010217766.0
• 申請日: 2020-03-25
• 公開（公告）號: CN111429340A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 劉琚;魯昱;劉曉璽;趙雪圻
• 申請（專利權）人: 山東大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李健康

1.一種基于自注意力機制的循環圖像翻譯方法，該方法基于循環對抗一致的CycleGAN網絡，其特征在于該方法包括以下步驟：

步驟1：從兩個待轉換的X域和Y域圖像數據庫中分別隨機選取一張圖像，送入循環生成對抗網絡；

步驟2：所述圖像分別經過X域和Y域的帶有自注意力機制的生成器，得到輸出對應轉換的Y域和X域生成圖像；

步驟3：所述兩個生成圖像分別送入Y域和X域的判別器中進行判別，得到介于[0,1]之間的兩個得分；

步驟4：利用循環一致性損失函數計算生成的假圖和真實輸入圖像之間的誤差，利用判別得分計算生成對抗過程中的最小二乘對抗損失函數；

步驟5：基于損失函數進行網絡優化，通過梯度下降與反向傳播不斷迭代以更新X域和Y域的生成器和判別器網絡參數，使全部四個網絡達到動態平衡點，即納什均衡；

步驟4中所述的損失函數分別如下所示：

其中，L_cyc(G,F)是循環一致性損失函數，L_G和L_F分別是X域、Y域的判別對抗損失以及X→Y和Y→X轉換的生成對抗損失，且均為最小二乘形式的對抗損失函數，L(G,F,D_X,D_Y)是完整的網絡損失函數。其中，x～p_data(x)和y～p_data(y)來自X域和Y域的真實圖像分布，E(·)代表數學期望，G(·)表示X→Y的生成器，F(·)表示Y→X的生成器，||·||₁表示L₁范數，D_X(x)表示X域判別器對真實X域圖像的判別分數，則對應的，D_Y(G(x))表示Y域判別器對生成的Y域假圖的判別分數，λ表示循環一致性損失在全損失函數中的權重，是一個超參數，其取值范圍為λ∈(0,1)。

2.根據權利要求1所述的基于自注意力機制的循環圖像翻譯方法，其特征在于：步驟2中的自注意力機制具體為：上層輸出的特征向量圖，分別經過三個變換函數f(x)、g(x)和h(x)，轉換后的三個特征圖疊加上原始的特征圖輸入到網絡的下一層。

3.根據權利要求1所述的基于自注意力機制的循環圖像翻譯方法，其特征在于：在訓練過程中使用了兩種策略增強網絡穩定性，減少梯度異常的概率，同時減少梯度更新需要的時間；第一種策略是：針對所有的生成器和判別器網絡均使用譜歸一化方法；第二種策略是：對于生成器和判別器，使用雙尺度更新策略，分別使用不同的學習速率進行梯度更新，加快對抗博弈的過程，更快地找到納什均衡。