[發明專利]人臉屬性識別方法及裝置

有效

• 申請號: 201710552180.8
• 申請日: 2017-07-07
• 公開（公告）號: CN107247947B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 楊光磊;楊東;王棟
• 申請（專利權）人: 智慧眼科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 長沙智嶸專利代理事務所(普通合伙) 43211
• 代理人: 劉宏

1.一種人臉屬性識別方法，其特征在于，包括步驟：

利用深度殘差網絡對已收集的人臉圖像的人臉屬性進行訓練，得到帶有多種人臉屬性特征的多屬性網絡訓練模型，人臉屬性包括年齡、性別、眼鏡、頭部姿態、胡須、眼睛狀態和微笑程度中的二種或二種以上；

運用得到的所述多屬性網絡訓練模型來對待識別圖像的人臉屬性進行多屬性預測，以識別所述待識別圖像中的多種人臉屬性；

所述運用得到的所述多屬性網絡訓練模型來對待識別圖像的人臉屬性進行多屬性預測，以識別所述待識別圖像中的多種人臉屬性的步驟包括：

將所述待識別圖像輸入所述多屬性網絡訓練模型，提取所述待識別圖像中的多屬性人臉特征，網絡輸出1000維特征向量；

將提取的所述多屬性人臉特征分別輸入對應的全連接層，得到設定維度的人臉圖像多屬性預測特征，對于年齡屬性，將多屬性網絡訓練模型網絡輸出的1000維特征向量輸入對應的全連接層fc₁，在全連接層fc₁中輸出具有80維年齡特征的人臉圖像多屬性預測特征，對于其他屬性，將1000維特征向量輸入對應的全連接層fc_m，在全連接層fc_m中輸出具有2維特征的人臉圖像多屬性預測特征；

將所述全連接層的輸出結果送入softmax層，計算出所述多屬性人臉特征的最大概率值，以識別所述待識別圖像中的多種人臉屬性；

其中，對于年齡屬性，對于每個年齡挑選N張圖像作為標準年齡圖像，生成維度與年齡對應的80維年齡特征f作為標準年齡特征基，對于每張待識別圖像同樣提取80維年齡特征f，并計算80維年齡特征f與標準年齡特征基之間的權重：

其中，f為80維年齡特征，為特征基中第a幅圖像特征，將ε_a乘以圖像a對應的標準的標簽label作為圖像a對于年齡預測的貢獻值，將年齡特征基中所有圖像貢獻值對應維度相加所得到的80維向量，則為最終預測結果，80維向量中最大值對應維度即為預測年齡；

所述利用深度殘差網絡對已收集的人臉圖像的人臉屬性進行訓練，得到帶有多種人臉屬性特征的多屬性網絡訓練模型的步驟包括：

將已收集的人臉圖像輸入深度殘差網絡，利用所述深度殘差網絡的網絡結構提取所述人臉圖像中的人臉屬性特征，以在所述深度殘差網絡中輸出人臉特征向量；

對所述深度殘差網絡進行拓展，將所述深度殘差網絡輸出的所述人臉特征向量集中訓練成多屬性網絡模型；

所述對所述深度殘差網絡進行拓展，將所述深度殘差網絡輸出的所述多屬性特征向量集中訓練成多屬性網絡模型的步驟包括：

在所述深度殘差網絡的網絡結構后面添加深度神經網絡的全連接層，使所述全連接層與所述深度殘差網絡輸出的所述人臉特征向量對應連接；

將所述深度殘差網絡中輸出的所述人臉特征向量對應輸入到所述全連接層上，得到設定維度的人臉特征訓練圖像的多屬性特征；

在所述深度殘差網絡的網絡結構后面添加深度神經網絡的損失函數層，使所述損失函數層與所述深度殘差網絡中的輸出層對應相連，獲取所述多屬性人臉特征訓練圖像中的訓練數據集標簽，計算出所述深度殘差網絡中所述多屬性人臉特征訓練圖像前向傳播時的損失；

其中，對于年齡為age的訓練圖像，多屬性人臉特征訓練圖像的年齡標簽為：

其中，σ_age為該年齡對應標準差，i取值從1到80表示預測年齡范圍為1歲到80歲，對于不同年齡設置σ_age有區別，年齡10歲以及年齡70歲設置更小的σ_age，從而可以避免邊緣年齡識別向中間年齡段偏移的問題；

將全連接層fc₁輸出的多屬性人臉特征訓練圖像中的80維年齡特征通過softmax層，輸出多屬性人臉特征訓練圖像屬于每個年齡的概率，softmax運算如下：

其中，x為輸入向量，p為輸出概率，交叉熵函數能夠更好的度量兩個概率分布之間的距離，因此計算輸出年齡概率p＝[p₁,p₂,…,p₈₀]和標簽q＝[q₁,q₂,…,q₈₀]之間的損失使用的交叉熵代價函數，對于訓練樣本標簽，如下式所示：

其中，N為訓練圖像張數，i為對應年齡維度；

對于除年齡屬性外的其他屬性使用Softmax損失函數計算代價并進行優化，Softmax代價函數如下所示：

其中，p_j為softmax運算概率值，j為多屬性人臉特征訓練圖像真實的類別編號。

2.一種人臉屬性識別裝置，其特征在于，包括：

訓練模塊(10)，用于利用深度殘差網絡對已收集的人臉圖像的人臉屬性進行訓練，得到帶有多種人臉屬性特征的多屬性網絡訓練模型，人臉屬性包括年齡、性別、眼鏡、頭部姿態、胡須、眼睛狀態和微笑程度中的二種或二種以上；

預測模塊(20)，用于運用得到的所述多屬性網絡訓練模型來對待識別圖像的人臉屬性進行多屬性預測，以識別所述待識別圖像中的多種人臉屬性；

所述預測模塊(20)包括第二提取單元(21)、獲取單元(22)和計算單元(23)，

所述第二提取單元(21)，用于將所述待識別圖像輸入所述多屬性網絡訓練模型，提取所述待識別圖像中的多屬性人臉特征，網絡輸出1000維特征向量；

所述獲取單元(22)，用于將提取的所述多屬性人臉特征分別輸入對應的全連接層，得到設定維度的人臉圖像多屬性預測特征，對于年齡屬性，將多屬性網絡訓練模型網絡輸出的1000維特征向量輸入對應的全連接層fc₁，在全連接層fc₁中輸出具有80維年齡特征的人臉圖像多屬性預測特征，對于其他屬性，將1000維特征向量輸入對應的全連接層fc_m，在全連接層fc_m中輸出具有2維特征的人臉圖像多屬性預測特征；

所述計算單元(23)，用于將所述全連接層的輸出結果送入softmax層，計算出所述多屬性人臉特征的最大概率值，以識別所述待識別圖像中的多種人臉屬性；

其中，對于年齡屬性，對于每個年齡挑選N張圖像作為標準年齡圖像，生成維度與年齡對應的80維年齡特征f作為標準年齡特征基，對于每張待識別圖像同樣提取80維年齡特征f，并計算80維年齡特征f與標準年齡特征基之間的權重：

其中，f為80維年齡特征，為特征基中第a幅圖像特征，將ε_a乘以圖像a對應的標準的標簽label作為圖像a對于年齡預測的貢獻值，將年齡特征基中所有圖像貢獻值對應維度相加所得到的80維向量，則為最終預測結果，80維向量中最大值對應維度即為預測年齡；

所述訓練模塊(10)包括第一提取單元(11)和拓展單元(12)，

所述第一提取單元(11)，用于利用所述深度殘差網絡的網絡結構提取所述人臉圖像中的人臉屬性特征，以在所述深度殘差網絡中輸出人臉特征向量；

所述拓展單元(12)，用于對所述深度殘差網絡進行拓展，將所述深度殘差網絡輸出的所述多屬性特征向量集中訓練成多屬性網絡模型；

所述拓展單元(12)包括連接子單元(121)和訓練圖像獲取子單元(122)，

所述連接子單元(121)，用于在所述深度殘差網絡的網絡結構后面添加深度神經網絡的全連接層，使所述全連接層與所述深度殘差網絡輸出的所述人臉特征向量對應連接；

所述訓練圖像獲取子單元(122)，用于將所述深度殘差網絡中輸出的所述人臉特征向量對應輸入到所述全連接層上，得到設定維度的人臉特征訓練圖像的多屬性特征；

所述拓展單元(12)還包括損失計算子單元(123)，

所述損失計算子單元(123)，用于在所述深度殘差網絡的網絡結構后面添加深度神經網絡的損失函數層，使所述損失函數層與所述深度殘差網絡中的輸出層對應相連，獲取所述多屬性人臉特征訓練圖像中的訓練數據集標簽，計算出所述深度殘差網絡中所述多屬性人臉特征訓練圖像前向傳播時的損失；

其中，對于年齡為age的訓練圖像，多屬性人臉特征訓練圖像的年齡標簽為：

其中，σ_age為該年齡對應標準差，i取值從1到80表示預測年齡范圍為1歲到80歲，對于不同年齡設置σ_age有區別，年齡10歲以及年齡70歲設置更小的σ_age，從而可以避免邊緣年齡識別向中間年齡段偏移的問題；

將全連接層fc₁輸出的多屬性人臉特征訓練圖像中的80維年齡特征通過softmax層，輸出多屬性人臉特征訓練圖像屬于每個年齡的概率，softmax運算如下：

其中，x為輸入向量，p為輸出概率，交叉熵函數能夠更好的度量兩個概率分布之間的距離，因此計算輸出年齡概率p＝[p₁,p₂,…,p₈₀]和標簽q＝[q₁,q₂,…,q₈₀]之間的損失使用的交叉熵代價函數，對于訓練樣本標簽，如下式所示：

其中，N為訓練圖像張數，i為對應年齡維度；

對于除年齡屬性外的其他屬性使用Softmax損失函數計算代價并進行優化，Softmax代價函數如下所示：

其中，p_j為softmax運算概率值，j為多屬性人臉特征訓練圖像真實的類別編號。