[發明專利]一種基于深度注意生成對抗網絡的實例級圖像翻譯技術

在審

• 申請號: 201810313808.3
• 申請日: 2018-04-10
• 公開（公告）號: CN108509952A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度注意生成對抗網絡的實例級圖像翻譯技術，其特征在于，主要包括網絡模塊(一)；實例級圖像翻譯(二)；集合級圖像翻譯(三)；完整目標函數(四)。

2.基于權利要求書1所述的網絡模塊(一)，其特征在于，深度注意生成對抗網絡包括四個網絡模塊：深度注意編碼器、生成器、鑒別器D1和鑒別器D2。

3.基于權利要求書2所述的深度注意編碼器，其特征在于，給定一個輸入圖像X的特征圖像E(X)，首先采用定位函數預測一系列注意區域的位置；一旦得到了注意區域的位置，就可以獲得注意掩碼

具體來講，用w和h分別表示圖像X寬度和高度的一半，那么，可以采用下面公式對注意區域進行參數化：

然后，通過點乘運算計算接著得到注意區域

4.基于權利要求書2所述的生成器，其特征在于，生成器接收來自隱空間的高度結構化表達式，用于產生翻譯得到的樣本；

生成器被迫翻譯那些無法從真實圖像區分出來的樣本。

5.基于權利要求書2所述的鑒別器D1和鑒別器D2，其特征在于，在目標域當中，使用鑒別器D1把翻譯的樣本從真實圖像里面鑒別出來；鑒別器D2識別重構獲得的無法分辨的樣本。

6.基于權利要求書1所述的實例級圖像翻譯(二)，其特征在于，采用一致性損失函數：

另外，采用對稱損失函數：

上式也可以當作是應用于樣本的自編碼損失函數；其中，d是距離，理論上有許多不同的取值。

7.基于權利要求書1所述的集合級圖像翻譯(三)，其特征在于，在目標域可以把當作是一個自動編碼器；對于目標域里面的任意一個節點，F(t)可以產生距離很近的節點；

上式表示目標函數；這個多對抗性訓練過程有利于懲罰丟失的節點，它促使F(t)往鄰近的節點靠近；從而可以獲得針對不同節點的公平的概率密度函數。

8.基于權利要求書1所述的完整目標函數(四)，其特征在于，完整的目標函數可以由下面式子給出，即：

其中α和β分別是一致損失函數和對稱損失函數的權重；

目的在于求解下列優化問題：

其中，網絡采用由殘差塊組成的生成器。

9.基于權利要求書8所述的網絡，其特征在于，對于生成器，實例級表達沿著信道方向串聯起來，并反饋至殘差塊；最后，一系列上采樣網絡層被用于產生一張翻譯圖像；

對于鑒別器，生成的圖像通過下采樣塊反饋出去；最后，一個帶有單一節點的全連接網絡層被用于生成一個決策分數。

10.基于權利要求書9所述的上采樣和殘差塊，其特征在于，上采樣塊包括由以3×3為距離的卷積塊組成的最近鄰上采樣；

殘差塊包括以3×3為距離的卷積塊和分批歸一化塊。