[發明專利]基于結構推理的人臉美學評價及增強方法

在審

• 申請號: 202011644344.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112699816A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 俞俊;毛錦濤;高飛
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.基于結構推理的人臉美學評價及增強方法，其特征在于包括如下步驟：

步驟(1)構建人臉美學評價網絡：

人臉美學評價網絡包括兩個分支，分支一采用卷積神經網絡結構，從輸入人臉圖像中提取美學相關的人臉綜合特征；分支二采用關鍵點檢測網絡提取人臉初步結構特征，并利用帶有DiffPool池化模塊的圖注意力網絡對人臉初步結構特征進行變換獲取美學相關的人臉結構特征Ⅰ；將兩個分支輸出的人臉綜合特征和人臉結構特征進行融合，分別輸入到兩個功能不同的多層感知機中預測，分別輸出美學評價結果和人臉屬性信息；

步驟(2)構建人臉美學增強網絡：

人臉美學增強網絡包括兩個分支，分支一采用內容編碼器和可變形卷積從輸入人臉圖像中提取人臉內容特征；分支二采用關鍵點檢測網絡提取人臉初步結構特征，并利用圖注意力網絡對人臉初步結構特征進行變換獲取美學相關的人臉結構特征Ⅱ；將人臉內容特征和人臉結構特征Ⅱ進行融合，輸入到解碼器中，預測增強后的人臉圖像。

2.根據權利要求1所述的基于結構推理的人臉美學評價及增強方法，其特征在于步驟(1)所述的人臉美學評價網絡，具體如下：

1-1為了提升模型對于人臉結構的表征能力，在第一個分支中引入可變形卷積模塊與全局池化；可變形卷積對于卷積窗中的每個位置p自動學習一個偏移向量Δp，利用偏移后位置(p+p_n+Δp)的元素進行計算；p_n表示標準卷積中的格狀鄰域偏移；整個特征圖對應的全部偏移量，稱之為偏移場；偏移場的預測利用一層或多層卷積進行實現；

1-2在第二分支中利用帶有DiffPool池化模塊的圖注意力網絡，標記為GAT/Pool；在圖注意力網絡的每一層，采用多路自注意力機制，對于每一個當前節點，利用與其鄰接的節點特征更新當前節點的表征；池化模塊擬采用DiffPool機制；

1-3預測階段，采用多任務-多標簽學習模式同時預測人臉美學評價結果和人臉屬性信息；針對人臉美學評價結果：同時預測人臉美學的二分類標記、平均分數和分數分布；三者分別采用交叉熵損失、L2損失和EMD損失；針對人臉屬性信息：采用多標簽交叉熵損失，即每一種標記可能存在不同的類型，分別計算交叉熵，然后進行綜合，作為目標函數。

3.根據權利要求2所述的基于結構推理的人臉美學評價及增強方法，其特征在于步驟(2)所述的人臉美學增強網絡：

2-1基于圖生成對抗網絡的人臉結構遷移：

采用圖生成對抗網絡完成人臉結構的表示和遷移；將輸入人臉圖像輸入到關鍵點檢測網絡提取人臉初步結構特征，人臉初步結構特征包含對應的關鍵點圖A和特征矩陣X；將關鍵點圖A和特征矩陣X通過圖注意力網絡映射為美化后人臉圖像對應的關鍵點圖和特征矩陣關鍵點圖和特征矩陣構成人臉結構特征Ⅱ；

與生成對抗網絡類似，GGAN包含生成器和編碼器；生成器擬采用圖注意力網絡結構，其中圖注意力網絡結構中的多層生成注意力模塊的輸出為美化后人臉對應的特征矩陣之后，基于預測美化后的人臉關鍵點圖其數學形式為：

實際應用中和都是未知的，因此無法利用預測結果和對應真實結果之間的誤差計算損失；假定所有美觀人臉的關鍵點圖和特征矩陣都符合一定的分布，且與非美觀人臉具有一定的差異；為了將輸入的人臉映射為更美觀的人臉，采用生成對抗機制，使得符合美觀人臉對應的關鍵點圖的分布；其對應的判別網絡為結構判別網絡，基于對抗學習機制，使得分布與美觀人臉對應分布之間的距離最小；

2-2基于可變形卷積的人臉內容遷移：

在網絡中間區域采用基于可變形卷積的殘差模塊；可變形卷積中的偏移場預測模塊能夠自動學習美化后圖像各個像素的信息來源區域；為了提升位移場的合理性，在輸入端同時輸入人臉圖像及其坐標矩陣；并在分支二中，針對關鍵點位置，計算通過圖注意力網絡GAT前后的關鍵點偏移量，與位移場之間構建形變一致性約束；此外為了提升增強網絡的性能，基于殘差網絡思想在可變形卷積上增加直連通道，以實現人臉內容信息的精確遷移；

2-3基于多分布約束的判別網絡：

為了提升增強網絡的性能，采用多分布約束判別網絡，其包含四個子網絡：

1)身份判別子網絡，判斷合成人臉圖像是否保留了輸入人臉圖像的身份信息，通過采用預訓練的SphereFace提取特征，計算輸入人臉圖像與合成人臉圖像的特征圖之間的余弦距離，作為身份判別損失；

2)非條件判別子網絡，采用CNN結構，判斷合成人臉圖像是否有吸引力(Y/N？)以及合成人臉圖像是真是假(R/F？)；采用L2距離作為非條件對抗損失；

3)結構判別子網絡：采用帶DiffPool池化的圖注意力網絡結構(GAT/Pool)，預測合成人臉圖像是否有吸引力以及是否真實，擬采用L2損失；

4)條件對抗子網絡，預測合成人臉圖像與輸入人臉圖像是否匹配(R/F？)，同時預測輸入人臉圖像是否有吸引力(Y/N？)，擬采用與人臉美學評價網絡相同的結構和L2損失；在訓練過程中，將以上判別網絡的損失函數進行加權用于優化判別網絡和增強網絡。