[發(fā)明專利]一種基于雙重標(biāo)簽分布的輕量化人臉美學(xué)預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202210353950.7
• 申請日: 2022-04-01
• 公開（公告）號: CN114898424A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 劉姝;黃恩泉;許焱;王科選
• 申請（專利權(quán)）人: 中南大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/74;G06V10/82;G06K9/62;G06T3/40;G06N3/04
• 代理公司: 長沙正務(wù)聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43252
• 代理人: 鄭雋

本發(fā)明提供了一種基于雙重標(biāo)簽分布的輕量化人臉美學(xué)預(yù)測方法，包括：獲取人臉圖片，對每張人臉圖片進(jìn)行預(yù)處理，將預(yù)處理后的人臉圖片劃分為訓(xùn)練集和測試集；對訓(xùn)練集中的每張人臉圖片構(gòu)建其對應(yīng)的雙重標(biāo)簽分布；所述雙重標(biāo)簽分布包括吸引力分布和評分分布；將訓(xùn)練集中的人臉圖片和其所對應(yīng)的吸引力分布輸入至輕量化卷積神經(jīng)網(wǎng)絡(luò)中，通過聯(lián)合學(xué)習(xí)模塊進(jìn)行優(yōu)化訓(xùn)練，得到優(yōu)化后的人臉美學(xué)預(yù)測網(wǎng)絡(luò)模型；將需要預(yù)測的人臉圖片輸入至優(yōu)化后的人臉美學(xué)預(yù)測網(wǎng)絡(luò)模型中，輸出預(yù)測的吸引力分布，根據(jù)預(yù)測的吸引力分布得到預(yù)測的人臉圖片的美麗分?jǐn)?shù)。該方法提出了雙重標(biāo)簽分布，同時進(jìn)行輕量化設(shè)計(jì)，使預(yù)測性能優(yōu)越、預(yù)測效率和速度都大幅提升。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺與圖像處理技術(shù)領(lǐng)域，特別地，涉及一種基于雙重標(biāo)簽分布的輕量化人臉美學(xué)預(yù)測方法。

背景技術(shù)

美麗一直為人們津津樂道的話題，然而如何評價一張人臉圖像的美麗程度是一個抽象的問題。評價人臉的美麗程度很有可能受到主觀因素的影響，不同的人有不同的評價標(biāo)準(zhǔn)，現(xiàn)有人研究通過計(jì)算機(jī)對人臉美麗進(jìn)行較為客觀的評價，人臉美麗評價可以廣泛地應(yīng)用在日常生活中，如在社交網(wǎng)絡(luò)中讓計(jì)算機(jī)為好友進(jìn)行美麗評價并分享。

但是，現(xiàn)有的研究絕大部分采用了規(guī)模龐大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，例如：VGG、ResNet、ResNeXt系列等，忽略了輕量化設(shè)計(jì)。現(xiàn)有方法獲得的預(yù)測模型雖然預(yù)測性能良好，但存在規(guī)模龐大、預(yù)測效率低下等諸多缺點(diǎn)，導(dǎo)致模型的適用范圍十分有限，難以用于手機(jī)、嵌入式設(shè)備等資源有限的終端，在落地應(yīng)用方面存在諸多約束與不便。同時，大部分研究將人臉美學(xué)預(yù)測視作簡單分類或回歸問題，沒有充分利用數(shù)據(jù)集提供的各類信息。具體而言，在建模過程中，大部分方法只利用了數(shù)據(jù)集的分?jǐn)?shù)標(biāo)簽作為監(jiān)督信息，而忽略了分?jǐn)?shù)的標(biāo)準(zhǔn)差和評分分布等信息，造成信息浪費(fèi)，且預(yù)測不夠準(zhǔn)確，性能存在提升空間。

因此，業(yè)內(nèi)急需用于人臉美學(xué)預(yù)測的方法的新型技術(shù)。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供了一種基于雙重標(biāo)簽分布的輕量化人臉美學(xué)預(yù)測方法，該方法提出了雙重標(biāo)簽分布，同時進(jìn)行輕量化設(shè)計(jì)，使預(yù)測性能優(yōu)越，在主流數(shù)據(jù)集上達(dá)到目前最好的預(yù)測性能，同時大幅提升預(yù)測效率和速度。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于雙重標(biāo)簽分布的輕量化人臉美學(xué)預(yù)測方法，包括以下步驟：

獲取人臉圖片，對每張人臉圖片進(jìn)行預(yù)處理，將預(yù)處理后的人臉圖片劃分為訓(xùn)練集和測試集；

對訓(xùn)練集中的每張人臉圖片構(gòu)建每張人臉圖片對應(yīng)的雙重標(biāo)簽分布；所述雙重標(biāo)簽分布包括吸引力分布和評分分布；

將訓(xùn)練集中的人臉圖片和訓(xùn)練集中人臉圖片所對應(yīng)的吸引力分布輸入至輕量化卷積神經(jīng)網(wǎng)絡(luò)中，通過聯(lián)合學(xué)習(xí)模塊進(jìn)行優(yōu)化訓(xùn)練，得到優(yōu)化后的人臉美學(xué)預(yù)測網(wǎng)絡(luò)模型；其中，所述聯(lián)合學(xué)習(xí)模塊包括吸引力分布學(xué)習(xí)模塊、評分分布學(xué)習(xí)模塊以及美麗分?jǐn)?shù)回歸學(xué)習(xí)模塊；

將訓(xùn)練集中的人臉圖片所對應(yīng)的吸引力分布輸入至所述吸引力分布學(xué)習(xí)模塊，輸出預(yù)估吸引力分布；通過訓(xùn)練集中人臉圖片所對應(yīng)的吸引力分布與輸出的預(yù)估吸引力分布，得到吸引力分布損失函數(shù)；

將所述預(yù)估吸引力分布輸入至所述評分分布學(xué)習(xí)模塊，輸出預(yù)估評分分布，通過訓(xùn)練集中人臉圖片所對應(yīng)的評分分布和預(yù)估評分分布，得到評分分布損失函數(shù)；

將訓(xùn)練集中的人臉圖片所對應(yīng)的預(yù)估吸引力分布輸入至美麗分?jǐn)?shù)回歸學(xué)習(xí)模塊，輸出預(yù)測的美麗分?jǐn)?shù)，通過訓(xùn)練集中人臉圖片所對應(yīng)的真實(shí)美麗分?jǐn)?shù)與預(yù)測的美麗分?jǐn)?shù)，得到美麗分?jǐn)?shù)回歸損失函數(shù)；

根據(jù)所述吸引力分布損失函數(shù)、評分分布損失函數(shù)和美麗分?jǐn)?shù)回歸損失函數(shù)構(gòu)建聯(lián)合損失函數(shù)；通過最小化聯(lián)合損失函數(shù)，得到優(yōu)化后的人臉美學(xué)預(yù)測網(wǎng)絡(luò)模型；

將測試集中需要預(yù)測的人臉圖片輸入至優(yōu)化后的人臉美學(xué)預(yù)測網(wǎng)絡(luò)模型中，輸出預(yù)測的吸引力分布，根據(jù)預(yù)測的吸引力分布得到預(yù)測的人臉圖片的美麗分?jǐn)?shù)。