[發明專利]一種基于多注意力機制的人臉屬性編輯網絡

有效

• 申請號: 202010583325.2
• 申請日: 2020-06-23
• 公開（公告）號: CN111860186B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 張珂;蘇昱坤;何穎宣
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/82;G06N3/04
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 任漱晨

本申請提出了一種基于多注意力機制的人臉屬性編輯網絡。在生成器的跳躍連接中引入了加性注意力機制，并提出基于注意力機制的U型網絡連接，用于篩選與屬性無關的細節特征，使之與解碼器特征互補。同時采用互補自注意力機制，幫助模型區分屬性編輯區域和非屬性編輯區域，以保證模型的屬性編輯能力和細節保留能力。此外，互補自注意機制能增加生成圖像中對長程依賴的建模能力，增加圖像的幾何約束。該人臉屬性編輯網絡能夠平衡生成對抗網絡的屬性操控能力和細節保留能力，同時能對相干屬性進行解耦，并且在感官質量、屬性分類準確率和重建圖像質量上有著巨大的提升。

技術領域

本申請屬于圖像領域，尤其涉及一種基于多注意力機制的人臉屬性編輯網絡。

背景技術

隨著互聯網的快速發展，圖像成為人們傳遞信息、獲取信息的重要載體，圖像數量迅速增長，如何對圖像進行快速、有效的分析和處理顯得越來越重要。在圖像處理領域中，人臉圖像包含了豐富的個人信息，例如情緒、年齡和身份信息等。面部屬性的排列組合構成了每個人獨特的人臉信息，面部屬性在人的社會交往中起到了基礎性作用，因此人臉圖像的研究一直是機器學習領域的研究熱點。人臉屬性編輯技術成為了實現仿生代理、進行人機情感交互過程中不可或缺的重要工具。在人機交互、人臉重建、數據集擴增、智能攝影、市場營銷等多個智能領域存在廣闊的應用前景。

人臉屬性編輯的目標即生成具有目標屬性人臉的同時保留其與目標屬性無關的面部細節。在現有技術中，人臉屬性編輯模型的生成器(Generator)大都采用了編解碼器結構(encoder-decoder)，對原圖像信息進行壓縮提取，并在屬性向量的指導下對人臉圖像進行編輯，從而實現人臉屬性編輯。在先前的工作中，為了提取不同尺度的圖像屬性信息，需要用堆疊的卷積層對原圖像進行多次空間合并或者下采樣。殘差結構的編/解碼器，瓶頸層的引入增加了下采樣次數，使特征潛空間高度壓縮，導致了模糊的屬性編輯結果和嚴重的內容缺失問題。圖像經過編解碼器結構的壓縮后不可避免地會有細節損失，潛空間的特征向量只包含了圖像的主要信息，而忽視了細節信息，而細節信息的保存是圖像真實度和質量的保證。研究人員試圖采用在編解碼器中添加跳躍連接，以融合編碼器潛空間特征，為解碼器支路補充細節信息。然而生成器通過跳躍連接獲得細節保留能力的同時需要付出降低屬性操控能力的代價。如何平衡人臉屬性編輯網絡的細節保留能力和屬性編輯能力仍然是亟待解決的問題。

申請內容

為了解決上述技術問題，為了解決申請人發現的上述技術問題，本申請提出了一種人臉屬性編輯方法，記為(Multi-attention U-Net Generative Adversarial Network，MU-GAN)。主要是提出了一種基于多注意力機制的人臉屬性編輯網絡。本申請首先針對細節保留問題，在基于編解碼器的生成對抗網絡(Generative Adversarial Network，GAN)中采用對稱的U型網絡(U-Net)結構代替原有的非對稱編解碼器結構，保證編解碼兩端的潛空間信息容量對等，解決因為解碼器通道數驟減而導致的潛空間信息丟失。而后在U-Net結構中，在原有的跳躍直連中加入加性注意力機制(Additive Attention Mechanism，AAM)構建基于注意力機制的U型網絡連接(Attention U-Net Connection，AUC)模塊，該模塊對編碼器特征進行選擇性的傳遞，在獲得各層級的細節信息同時防止信息冗余，進而平衡GAN的細節保留和人臉屬性編輯能力。也就是說，在注意力機制的指導下選擇性傳遞細節信息的同時又防止信息冗余帶來的屬性編輯能力下降的問題。

一種基于多注意力機制的人臉屬性編輯網絡，包括基于編解碼器結構的生成器和共享權值的真偽/屬性分類鑒別器，包括基于編解碼器結構的生成器和共享權值的真偽/屬性分類鑒別器，所述網絡結構為：

在基于編解碼器的生成對抗網絡(Generative Adversarial Network，GAN)中采用對稱的U型網絡(U-Net)結構代替原有的非對稱編解碼器結構，保證編解碼兩端的潛空間信息容量對等，以解決因為解碼器通道數驟減而導致的潛空間信息丟失；