[發明專利]一種基于多注意力機制的人臉屬性編輯網絡

有效

• 申請號: 202010583325.2
• 申請日: 2020-06-23
• 公開（公告）號: CN111860186B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 張珂;蘇昱坤;何穎宣
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/82;G06N3/04
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 任漱晨

1.一種基于多注意力機制的人臉屬性編輯網絡，其特征在于，包括基于編解碼器結構的生成器和共享權值的真偽/屬性分類鑒別器，所述網絡結構為：

在基于編解碼器的生成對抗網絡GAN中采用對稱的U型網絡U-Net結構代替原有的非對稱編解碼器結構，保證編解碼兩端的潛空間信息容量對等，以解決因為解碼器通道數驟減而導致的潛空間信息丟失；

在U-Net結構中，在原有的跳躍直連中加入加性注意力機制AAM構建基于注意力機制的U型網絡連接AUC模塊，該模塊對編碼器特征進行選擇性的傳遞，在獲得各層級的細節信息同時防止信息冗余，進而平衡GAN的細節保留和人臉屬性編輯能力；

在編解碼器的卷積層之間加入互補自注意力CSA層，CSA層是卷積層的補充，分別利用了自注意系數的掩膜β'_ij和反掩膜1-β'_ij，將屬性編輯區域與非編輯區域進行分割，有助于分割屬性相關/無關區域，以針對性地加強屬性編輯能力和細節保留能力；

其中，所述基于注意力機制的U型網絡連接模塊在網絡中的具體表示如下：

第l層的編/解碼器特征e^l/d^l∈C×W×H，首先經過兩個相互獨立的線性轉換w_q和w_k，被映射到兩個線性空間q和其中N＝W×H,此處用i代表向量中的第i個位置的元素，AUC中的線性轉換可由以下公式表示：

接著將和做矩陣加法并經過ReLU函數，獲得加性相似度系數最后，經過另一個先行轉換W_t和Sigmoid函數得到了注意力圖α；

其中注意力系數α_i∈[0,1]代表了相應位置的圖像特征的顯著性，以選擇性地傳遞細節信息，作為解碼器特征的補充，讓屬性編輯和特征保留各取所需；

AUC模塊的輸出表示特征如下：

最后將AUC模塊的輸出特征與解碼器特征進行合并，選擇性地增加模型的細節保留能力：

其中，CSA層在網絡中的具體表示如下：

對兩路特征進行矩陣相乘并經過softmax函數，注意力系數矩陣β'計算如下:

本申請中分別利用了自注意系數的掩膜β'_ij和反掩膜1-β'_ij，將屬性編輯區域與非編輯區域進行分割，并對兩路特征進行通道合并，此處的輸出特征尺寸為將屬性編輯相關的信息與屬性無關信息分離，且保存在不同通道，有利于后續解碼過程中各取所需，以兼顧屬性編輯能力和細節保留能力：

其中，是兩個獨立的線性變換。