[發明專利]基于深度學習多維度輸出人臉質量評估方法與電子設備

有效

• 申請號: 202110389136.6
• 申請日: 2021-04-12
• 公開（公告）號: CN113158860B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 梁奔香;杜兵;羅翚
• 申請（專利權）人: 烽火通信科技股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明公開了一種基于深度學習多維度輸出人臉質量評估方法：準備訓練數據集，Score訓練集、Class訓練集、Mask訓練集、Pose訓練集；訓練網絡模型，從四個訓練集中各隨機選取一部分圖片合并為一個批次圖片，送入到神經網絡模型中，通過神經網絡前向推理后得到四個分支的輸出值，根據輸入的圖片來自哪個數據集來計算相應的分支的損失值，最后按照不同的權重相加每個分支的損失值得到總損失值，用于網絡反向傳播，更新網絡參數；對待測的人臉圖像進行預測，輸入一張人臉圖像，經過預處理后送入經過訓練得到的神經網絡模型進行前向推理，輸出四個分支的預測值，最后按權相加四個分支的輸出值得到最終的人臉質量綜合評估分數。本發明還提供了相應的電子設備。

技術領域

本發明屬于圖像識別技術領域，更具體地，涉及一種基于深度學習多維度輸出人臉質量評估方法與電子設備。

背景技術

在邊緣設備人臉抓拍過程中，由于受環境變化和人體運動的影響，抓拍到的人臉圖像中存在模糊、遮擋、姿態變化等低質量的人臉圖像，這些低質量的人圖像會大大降低人臉識別系統的準確率。同時邊緣設備的存儲空間和傳輸帶寬都是非常有限的，大量的低質量質量人臉圖片，并不利于人臉圖片的存儲和傳輸。為了能夠從大量的人臉圖像中挑選出一張或多張高質量的人臉圖像，就需要用到人臉質量評估方法。

影響人臉質量的因素有人臉圖像的模糊程度、人臉遮擋程度、人臉姿態等，對人臉質量的評估，就是對這些影響因素進行評估。現有的人臉質量評估方法：一是利用深度CNN(Convolution Neural Networks，卷積神經網絡)回歸人臉質量分數，就是輸入人臉圖像，經過神經網絡，輸出一個人臉質量分數，該方法不能夠準確反映影響人臉質量的各個因素，如清晰程度、遮擋程度、人臉姿態等，同時，一張人臉圖像標注一個綜合評價分數，標注難度大，容易引入主觀誤差。二是分別對人臉姿態、模糊、遮擋、人臉完整性等影響因素建模，計算各個因素的人臉質量分數后分配權重綜合評估得到唯一分數作為人臉質量評估，多模型評估增加了耗時和計算資源，不利于邊緣設備的實時部署。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于深度學習的多維度輸出的人臉質量評估方法，用以解決多個模型同時運行增加耗時和計算資源的問題，增加人臉質量評估的準確性。

為實現上述目的，按照本發明的一個方面，提供了一種基于深度學習多維度輸出人臉質量評估方法，包括：

步驟1：準備訓練數據集，Score訓練集、Class訓練集、Mask訓練集、Pose訓練集；

步驟2：訓練網絡模型，從所述四個訓練集中各隨機選取一部分圖片合并為一個批次圖片，送入到神經網絡模型中，通過神經網絡前向推理后得到四個分支的輸出值，根據輸入的圖片來自哪個數據集來計算相應的分支的損失值，最后按照不同的權重相加每個分支的損失值得到總損失值，用于網絡反向傳播，更新網絡參數；

步驟3：對待測的人臉圖像進行預測，輸入一張人臉圖像，經過預處理后送入經過訓練得到的神經網絡模型進行前向推理，輸出四個分支的預測值，最后按權相加四個分支的輸出值得到最終的人臉質量綜合評估分數。

本發明的一個實施例中，所述步驟2中的四個分支包括：

Score輸出分支：圖像清晰程度估計分支，該分支回歸預測一個關于人臉圖像清晰程度的評分估計值，在(0,1)區間，圖像清晰程度越高，該值越大，反之圖像越模糊，該值越小；

Class輸出分支：人臉圖像“bad”、“good”二分類分支；“bad”類包括非常極端的人臉、不完整的人臉以及部分非人臉圖片；“good”類包括正常人臉的圖片；該分支用于對輸入的人臉圖像進行預測分類，得到一個屬于“good”類的概率值，在(0,1)區間；