[發明專利]基于卷積神經網絡評估人臉圖像質量的方法和裝置

在審

• 申請號: 201711439458.7
• 申請日: 2017-12-27
• 公開（公告）號: CN108269250A
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 向少雄;賀波濤;吳迪
• 申請（專利權）人: 武漢烽火眾智數字技術有限責任公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 張濤

1.一種基于卷積神經網絡評估人臉圖像質量的方法，其特征在于，所述方法包括：

采集監控視頻中的多張人臉圖像，計算每張人臉圖像對應的初步質量值；

計算所述每張人臉圖像的圖像數據，根據每張圖像數據與所述圖像數據對應的所述初步質量值生成訓練樣本集，所述圖像數據包括關鍵點二值圖像、灰度圖和邊緣強度圖；

基于卷積神經網絡對所述訓練樣本集進行訓練，得到質量評價模型；

將待識別人臉圖像生成的圖像數據，通過所述質量評價模型進行人臉質量評價，得到所述待識別人臉圖像的質量值。

2.如權利要求1所述的方法，其特征在于，所述初步質量值具體為每個質量評估參數與評估權重相乘之和，所述質量評估參數包括人臉角度、清晰度、遮擋及亮度。

3.如權利要求1所述的方法，其特征在于，所述計算所述每張人臉圖像的圖像數據，具體包括，

對人臉圖像采用dlib的關鍵點檢測器，獲得所述人臉圖像的關鍵點，生成所述人臉圖像的關鍵點二值圖像；

對所述人臉圖像進行灰度化處理得到人臉圖像的灰度圖；

利用laplacian算子對所述灰度圖求取邊緣強度響應并生成邊緣強度圖；

將所述關鍵點二值圖像、所述人臉圖像灰度圖和所述邊緣強度圖，作為圖像的三個通道數據，生成圖像數據，所述圖像數據作為訓練樣本。

4.如權利要求1-3任一所述的方法，其特征在于，所述卷積神經網絡通過卷積計算式對所述訓練樣本集進行訓練，所述卷積計算式為

其中，xⁱ和y^j分別是第i個輸入特征圖和第j個輸出特征圖，k^ij是第i個輸入特征圖與第j個輸出特征圖之間的卷積核，*表示卷積，BN_γ,β(x)表示BatchNormalization，r表示共享權值的局部區域；

所述交叉熵損失函數為L⁽ⁱ⁾(k)＝y⁽ⁱ⁾log p⁽ⁱ⁾+(1-y⁽ⁱ⁾)(1-log p⁽ⁱ⁾)，其中，y⁽ⁱ⁾表示第i個樣本對應的帶質量評價分值的標簽，p⁽ⁱ⁾表示該樣本通過卷積神經網絡輸出的質量質量評價分值。

5.一種基于卷積神經網絡評估人臉圖像質量的裝置，其特征在于，所述裝置包括：

采集單元，用于采集監控視頻中的多張人臉圖像；

計算單元，連接所述采集單元，用于計算每張人臉圖像對應的初步質量值，并計算所述每張人臉圖像的圖像數據，根據每張圖像數據與所述圖像數據對應的所述初步質量值生成訓練樣本集，所述圖像數據包括關鍵點二值圖像、灰度圖和邊緣強度圖；

訓練單元，連接所述計算單元，基于卷積神經網絡對所述訓練樣本集進行訓練，得到質量評價模型；

評價單元，連接所述訓練單元和所述采集單元，用于將待識別人臉圖像生成的圖像數據，通過所述訓練單元得到的質量評價模型進行人臉質量評價，得到所述待識別人臉圖像的質量值。

6.如權利要求5所述的裝置，其特征在于，所述計算單元得到的初步質量值具體為每個質量評估參數與評估權重相乘之和，所述質量評估參數包括人臉角度、清晰度、遮擋及亮度。

7.如權利要求5所述的裝置，其特征在于，所述計算單元包括第一計算單元和第二計算單元；

所述第一計算單元用于計算每張人臉圖像對應的初步質量值；

所述第二計算單元用于計算所述每張人臉圖像的圖像數據，具體包括，

對人臉圖像采用dlib的關鍵點檢測器，獲得所述人臉圖像的關鍵點，生成所述人臉圖像的關鍵點二值圖像；

對所述人臉圖像進行灰度化處理得到人臉圖像的灰度圖；

利用laplacian算子對所述灰度圖求取邊緣強度響應并生成邊緣強度圖；

將所述關鍵點二值圖像、所述人臉圖像灰度圖和所述邊緣強度圖，作為圖像的三個通道數據，生成圖像數據，所述圖像數據作為訓練樣本。

8.如權利要求5-7任一所述的裝置，其特征在于，所述訓練單元利用對所述訓練樣本集進行訓練，所述卷積計算式為

其中，xⁱ和y^j分別是第i個輸入特征圖和第j個輸出特征圖，k^ij是第i個輸入特征圖與第j個輸出特征圖之間的卷積核，*表示卷積，BN_γ,β(x)表示BatchNormalization，r表示共享權值的局部區域；

所述交叉熵損失函數為L⁽ⁱ⁾(k)＝y⁽ⁱ⁾log p⁽ⁱ⁾+(1-y⁽ⁱ⁾)(1-log p⁽ⁱ⁾)，其中，y⁽ⁱ⁾表示第i個樣本對應的帶質量評價分值的標簽，p⁽ⁱ⁾表示該樣本通過卷積神經網絡輸出的質量質量評價分值。