[發(fā)明專利]基于結(jié)構(gòu)推理的人臉美學(xué)評價(jià)及增強(qiáng)方法

在審

• 申請?zhí)枺?/td>: 202011644344.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112699816A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 俞俊;毛錦濤;高飛
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于結(jié)構(gòu)推理的人臉美學(xué)評價(jià)及增強(qiáng)方法。本發(fā)明步驟如下：步驟(1)構(gòu)建人臉美學(xué)評價(jià)網(wǎng)絡(luò)，包括卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)，將兩個網(wǎng)絡(luò)輸出的人臉綜合特征和人臉結(jié)構(gòu)特征進(jìn)行融合，分別輸入到兩個功能不同的多層感知機(jī)中預(yù)測，分別輸出美學(xué)評價(jià)結(jié)果和人臉屬性信息。步驟(2)構(gòu)建人臉美學(xué)增強(qiáng)網(wǎng)絡(luò)，包括采用內(nèi)容編碼器和可變形卷積提取人臉內(nèi)容特征；包括采用關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)得到的人臉結(jié)構(gòu)特征Ⅱ；將人臉內(nèi)容特征和人臉結(jié)構(gòu)特征Ⅱ進(jìn)行融合，輸入到解碼器中，預(yù)測增強(qiáng)后的人臉圖像。本發(fā)明可以在提升了模型對于人臉結(jié)構(gòu)信息提取的基礎(chǔ)之上，使圖片美化的效果有顯著的提高。

技術(shù)領(lǐng)域

本發(fā)明提供一種基于結(jié)構(gòu)推理的人臉美學(xué)評價(jià)及增強(qiáng)方法。

背景技術(shù)

人臉美學(xué)質(zhì)量，也稱為人臉美觀度或吸引力，對于人類的社交活 動具有廣泛的影響力。人臉美學(xué)質(zhì)量評價(jià)與增強(qiáng)就旨在評估或提高人 臉的美學(xué)，從而獲得更優(yōu)的社交體驗(yàn)。相關(guān)算法已經(jīng)在各個領(lǐng)域得到 了廣泛應(yīng)用。

現(xiàn)有的人臉美學(xué)質(zhì)量評價(jià)主要集中在二分類、分?jǐn)?shù)預(yù)測和分布預(yù) 測三個方面。對于美學(xué)因素、美學(xué)描述等相關(guān)研究尚缺少相關(guān)數(shù)據(jù)。 在早期的研究中，研究人員基于啟發(fā)式規(guī)則(如平均對稱、面部幾何、 黃金分割)設(shè)計(jì)各種手工特征。然而，這些規(guī)則和手工制作的特性缺 乏通用性?，F(xiàn)在仍然缺少可靠的學(xué)習(xí)機(jī)制來探索人臉美學(xué)評價(jià)機(jī)理， 使得現(xiàn)有方法可解釋性低，且難以用于指導(dǎo)人臉圖像的美學(xué)質(zhì)量增強(qiáng) 過程。因此，如何構(gòu)建人臉美學(xué)因素的自學(xué)習(xí)機(jī)制，是人臉美學(xué)評價(jià) 領(lǐng)域的亟待解決的基礎(chǔ)性問題。

人臉美學(xué)增強(qiáng)亦稱為人臉美化，旨在通過調(diào)整人臉膚色、人臉結(jié) 構(gòu)或自動上妝等，提升人臉的吸引力?，F(xiàn)有人臉美化方法普遍屬于數(shù) 據(jù)驅(qū)動類型，需要美妝后人臉實(shí)例作為參考，然后利用數(shù)學(xué)模型用來 預(yù)測實(shí)例信息與輸入人臉信息之間的融合參數(shù)。整體而言，現(xiàn)有工作 只考慮人臉美化的單個方面，對于人臉結(jié)構(gòu)的美化仍然缺少有效的建 模手段，且未考慮人臉美化對于人臉識別的影響。因此，如何實(shí)現(xiàn)人 臉結(jié)構(gòu)的建模和遷移，并基于完全模型驅(qū)動方式，研究身份保持的多 因素人臉自動美化方法，以提升人臉美化的多樣性和可靠性，是相關(guān) 技術(shù)理論發(fā)展和應(yīng)用推廣的重點(diǎn)和難點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，供一種基于結(jié)構(gòu)推理的人 臉美學(xué)評價(jià)及增強(qiáng)方法。本發(fā)明包含評價(jià)和增強(qiáng)兩個部分。為了提升 模型對于人臉非網(wǎng)格結(jié)構(gòu)的表征能力，擬利用可變形卷積從人臉圖像 中提取綜合視覺特征；結(jié)合人臉關(guān)鍵點(diǎn)及圖模型建模人臉結(jié)構(gòu)，并基 于圖模型實(shí)現(xiàn)人臉美化過程中的遷移和推理；為了提升結(jié)構(gòu)變形的合 理性，針對可變性卷積和圖模型推理過程構(gòu)建形變一致性約束；最后， 采用身份判別網(wǎng)絡(luò)及其他分布判別網(wǎng)絡(luò)，實(shí)現(xiàn)美化過程的多種合理性 約束，以提升美化效果。

本發(fā)明所采用的技術(shù)方案包括如下步驟：

步驟(1)構(gòu)建人臉美學(xué)評價(jià)網(wǎng)絡(luò)：

人臉美學(xué)評價(jià)網(wǎng)絡(luò)包括兩個分支，分支一采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 從輸入人臉圖像中提取美學(xué)相關(guān)的人臉綜合特征；分支二采用關(guān)鍵點(diǎn) 檢測網(wǎng)絡(luò)提取人臉初步結(jié)構(gòu)特征，并利用帶有DiffPool池化模塊的 圖注意力網(wǎng)絡(luò)對人臉初步結(jié)構(gòu)特征進(jìn)行變換獲取美學(xué)相關(guān)的人臉結(jié) 構(gòu)特征Ⅰ；將兩個分支輸出的人臉綜合特征和人臉結(jié)構(gòu)特征進(jìn)行融合， 分別輸入到兩個功能不同的多層感知機(jī)中預(yù)測，分別輸出美學(xué)評價(jià)結(jié) 果和人臉屬性信息。

步驟(2)構(gòu)建人臉美學(xué)增強(qiáng)網(wǎng)絡(luò)：

人臉美學(xué)增強(qiáng)網(wǎng)絡(luò)包括兩個分支，分支一采用內(nèi)容編碼器和可變 形卷積從輸入人臉圖像中提取人臉內(nèi)容特征；分支二采用關(guān)鍵點(diǎn)檢測 網(wǎng)絡(luò)提取人臉初步結(jié)構(gòu)特征，并利用圖注意力網(wǎng)絡(luò)對人臉初步結(jié)構(gòu)特 征進(jìn)行變換獲取美學(xué)相關(guān)的人臉結(jié)構(gòu)特征Ⅱ；將人臉內(nèi)容特征和人臉 結(jié)構(gòu)特征Ⅱ進(jìn)行融合，輸入到解碼器中，預(yù)測增強(qiáng)后的人臉圖像。

進(jìn)一步的，所述的步驟(1)所述的人臉美學(xué)評價(jià)網(wǎng)絡(luò)：