[發(fā)明專利]一種基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法

有效

• 申請?zhí)枺?/td>: 202011092869.5
• 申請日: 2020-10-13
• 公開（公告）號: CN112215162B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設計）人: 袁麗燕;瞿洪桂;孫家樂;高珊珊
• 申請（專利權(quán)）人: 北京中電興發(fā)科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國強

1.一種基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，包括以下步驟：

S1)采集人臉圖像樣本數(shù)據(jù)集，對所述人臉圖像樣本數(shù)據(jù)集進行預處理；

S2)對人臉屬性按照全局屬性和局部屬性進行分組，將分組后的局部屬性按照局部屬性在人臉的相對位置進行再次分組，獲得人臉屬性分組結(jié)果，所述人臉屬性分組結(jié)果包括若干個人臉屬性分組，每一個人臉屬性分組包括若干個人臉屬性標簽；

S3)根據(jù)所述人臉屬性分組結(jié)果建立MCNN網(wǎng)絡模型，所述MCNN網(wǎng)絡模型包括輸入層，所述輸入層依次接若干層卷積模塊，最后一個卷積模塊后接若干個分組卷積模塊，若干個分組卷積模塊相互并聯(lián)，若干個分組卷積模塊的個數(shù)與步驟S1)中人臉屬性標簽的總組數(shù)相同；每個分組卷積模塊包括若干個分組卷積模塊，最后一個分組卷積模塊后接若干個不同類型的loss模塊；

S4)將預處理后的人臉圖像樣本數(shù)據(jù)集按比例分成訓練集和驗證集，利用所述訓練集和驗證集分別對MCNN網(wǎng)絡模型進行訓練及驗證，獲得訓練后的MCNN網(wǎng)絡模型；

S5)將待預測屬性的人臉圖像輸入至所述訓練后的MCNN網(wǎng)絡模型中，獲得所述待預測屬性的人臉圖像的人臉屬性預測結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，在步驟S1)中，對所述人臉圖像樣本數(shù)據(jù)集進行預處理，包括以下步驟：

S11)對所述人臉圖像樣本數(shù)據(jù)集中的每一張人臉圖像進行人臉屬性標注；

S12)利用關(guān)鍵點檢測算法對每一張人臉圖像進行關(guān)鍵點檢測，獲得與人臉圖像相對應的關(guān)鍵點位置，根據(jù)所述與人臉圖像相對應的關(guān)鍵點位置對所述人臉圖像進行對齊矯正處理，獲得對齊矯正處理后的人臉圖像集；

S13)將步驟S12)中對齊矯正處理后的人臉圖像集中的每一張人臉圖像歸一化到預設尺寸大小。

3.根據(jù)權(quán)利要求2所述的基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，步驟S12)中，關(guān)鍵點位置包括左眼中心、右眼中心、鼻尖、左嘴角點和右嘴角點；根據(jù)關(guān)鍵點位置利用仿射變換對所述人臉圖像進行對齊矯正處理。

4.根據(jù)權(quán)利要求1所述的基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，在步驟S2)中，全局屬性包括性別、年齡、膚色、表情、顏值和/或是否化妝，局部屬性包括嘴巴屬性、眼睛屬性、是否戴眼鏡、是否戴口罩和/或是否戴項鏈，將分組后的局部屬性按照局部屬性在人臉的相對位置進行再次分組，按照上中下分為三組人臉屬性，上組人臉屬性包括是否戴眼鏡和/或是否有劉海，中組人臉屬性包括鼻子屬性、是否戴口罩和/或是否戴耳環(huán)，下組人臉屬性包括胡須和/或是否戴項鏈。

5.根據(jù)權(quán)利要求1所述的基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，在步驟S3)中，最后一個分組卷積模塊后接若干個不同類型的loss模塊，所述若干個不同類型的loss模塊的個數(shù)與第i組人臉屬性標簽中的人臉屬性的總數(shù)相同，i≤n,n為人臉屬性標簽的總組數(shù)。

6.根據(jù)權(quán)利要求1所述的基于MCNN網(wǎng)絡的多標簽多任務人臉屬性預測方法，其特征在于，所述若干個不同類型的loss模塊中的不同類型包括分類類型和回歸類型，當人臉屬性為分類類型時，loss模塊采用softmax損失模塊、Logistic?loss模塊、Hinge?loss模塊或0-1損失模塊；當人臉屬性為回歸類型時，loss模塊采用平方損失模塊、歐式距離loss模塊、絕對值損失模塊或Huber損失模塊。