[發明專利]一種基于MCNN網絡的多標簽多任務人臉屬性預測方法

有效

• 申請號: 202011092869.5
• 申請日: 2020-10-13
• 公開（公告）號: CN112215162B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 袁麗燕;瞿洪桂;孫家樂;高珊珊
• 申請（專利權）人: 北京中電興發科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國強

本發明涉及計算機視覺技術領域，公開了一種基于MCNN網絡的多標簽多任務人臉屬性預測方法，包括采集人臉圖像樣本數據集；對人臉屬性按照全局屬性和局部屬性進行分組，獲得若干組人臉屬性標簽；根據人臉屬性分組結果確定MCNN網絡結構并構建MCNN網絡模型；利用訓練集和驗證集分別對MCNN網絡模型進行訓練及驗證，獲得訓練后的MCNN網絡模型；將待預測屬性的人臉圖像輸入至訓練后的MCNN網絡模型，獲得待預測屬性的人臉圖像的人臉屬性預測結果。本發明解決了人臉屬性分組困難且各任務分支之間無交集的問題，通過共享低層次的特征提取層，減少了模型參數，縮小了模型大小,在保證模型性能的同時提升了各人臉屬性的識別正確率。

技術領域

本發明涉及計算機視覺技術領域，具體地涉及一種基于MCNN網絡的多標簽多任務人臉屬性預測方法。

背景技術

人臉屬性分析用于對給定的人臉圖像預測性別、年齡、膚色、是否戴眼鏡、是否口罩、表情、顏值等信息。人臉屬性分析可以應用在圖像檢索、人臉識別、行人重識別、圖像生成和推薦系統中。傳統的人臉屬性分析算法是針對每一個不同的屬性單獨建立網絡進行學習，即單任務模式。現在主流的人臉屬性分析算法多采用多標簽多任務的學習方式，建立多分支的網絡結構去實現，但是這種方法面臨著如何建立網絡分支以及建立多少個網絡分支的問題，網絡分支太多，則網絡龐大，性能下降，網絡分支太少，則可能導致無法達到比較高的精度。另外目前的多標簽多任務學習算法，各分支獨自學習，彼此之間沒有交集，學習中無法充分的利用有效信息學習達到更高的精度。

發明內容

本發明提供一種基于MCNN網絡的多標簽多任務人臉屬性預測方法，從而解決現有技術的上述問題。

一種基于MCNN網絡的多標簽多任務人臉屬性預測方法，包括以下步驟：

S1)采集人臉圖像樣本數據集，對人臉圖像樣本數據集進行預處理；

S2)對人臉屬性按照全局屬性和局部屬性進行分組，將分組后的局部屬性按照局部屬性在人臉的相對位置進行再次分組，獲得人臉屬性分組結果，人臉屬性分組結果包括若干個人臉屬性分組，每一個人臉屬性分組包括若干個人臉屬性標簽；

S3)根據所述人臉屬性分組結果建立MCNN網絡模型(Multi-columnConvolutional?Neural?Network，MCNN)，MCNN網絡模型包括輸入層，所述輸入層依次接若干層卷積模塊，最后一個卷積模塊后接若干個分組卷積模塊，若干個分組卷積模塊相互并聯，若干個分組卷積模塊的個數與步驟S1)中人臉屬性標簽的總組數相同；每個分組卷積模塊包括若干個分組卷積模塊，最后一個分組卷積模塊后接若干個不同類型的loss模塊；

S4)將預處理后的人臉圖像樣本數據集按比例分成訓練集和驗證集，利用訓練集和驗證集分別對MCNN網絡模型進行訓練及驗證，獲得訓練后的MCNN網絡模型；

S5)將待預測屬性的人臉圖像輸入至訓練后的MCNN網絡模型中，獲得待預測屬性的人臉圖像的人臉屬性預測結果。

進一步的，在步驟S1)中，對人臉圖像樣本數據集進行預處理，包括以下步驟：

S11)對人臉圖像樣本數據集中的每一張人臉圖像進行人臉屬性標注；

S12)利用關鍵點檢測算法對每一張人臉圖像進行關鍵點檢測，獲得與人臉圖像相對應的關鍵點位置，根據與人臉圖像相對應的關鍵點位置對人臉圖像進行對齊矯正處理，獲得對齊矯正處理后的人臉圖像集；

S13)將步驟S12)中對齊矯正處理后的人臉圖像集中的每一張人臉圖像歸一化到預設尺寸大小。

進一步的，步驟S12)中，關鍵點位置包括左眼中心、右眼中心、鼻尖、左嘴角點和右嘴角點；根據關鍵點位置利用仿射變換對人臉圖像進行對齊矯正處理。