[發明專利]一種人臉角度及人臉模糊度分析方法、系統和計算機設備

有效

• 申請號: 201910339320.2
• 申請日: 2019-04-25
• 公開（公告）號: CN110163114B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 張帥;賈寶芝;徐邵凱
• 申請（專利權）人: 廈門瑞為信息技術有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/62;G06N3/04;G06V10/20;G06V10/778
• 代理公司: 北京康盛知識產權代理有限公司 11331
• 代理人: 高會會

1.一種人臉角度及人臉模糊度分析方法，其特征在于，包括以下步驟：

S1.神經網絡模型訓練：包括訓練用于人臉檢測的基于深度學習的第一神經網絡模型和用于人臉角度和人臉模糊度分析的第二神經網絡模型；所述神經網絡模型訓練包括：

S11.第一神經網絡模型訓練：通過采集各種人物在各種場景下攝像頭內的圖片和視頻，然后采用外接矩形框標定出人臉區域及面部的左眼瞳孔、右眼瞳孔、鼻尖、左邊嘴角和右邊嘴角五個特征點，將標定好的數據及相對應的標簽輸入第一神經網絡模型中進行訓練，得到可精準檢測人臉框以及面部特征點的深度學習第一神經網絡模型；該第一神經網絡模型采用MTCNN模型，所述MTCNN模型包括P-Net網絡、R-Net網絡和O-Net網絡；

S12.第二神經網絡模型訓練：通過第一神經網絡模型預測出的兩個眼睛瞳孔的位置，計算雙瞳孔的連線與水平線的夾角，進行逆向旋轉，得到一張雙瞳水平的照片；

對獲取的人臉框的位置進行預設比例的放大，然后進行剪切，再經過定中心點進行逆向旋轉得到大量校正后的人臉照片，然后給到數據標注人員進行人臉角度和人臉模糊度標注，得到大量具有人臉角度和人臉模糊度標簽的數據，提取出全部的人臉模糊度標簽為清晰的數據，然后使用基于OpenCV的Motion blur和Gaussian blur將抽取出的清晰并且帶有標注的人臉角度數據制造分不同程度可量化的模糊數據，即得到第二神經網絡模型的訓練數據；

接著將模糊數據及相對應的人臉角度和人臉模糊度量化標簽送入第二神經網絡模型中進行訓練，得到能夠精確預測人臉角度和人臉模糊度的模型；

S2.待檢測圖片提取：獲取各種場景下攝像頭內圖片或/和視頻數據，從中提取待檢測的單張圖片；

S3.圖片的人臉檢測與矯正：通過訓練好的第一神經網絡模型對單張圖片進行人臉檢測，獲取人臉框位置和面部特征點位置；根據人臉框位置和面部特征點位置進行圖片矯正和截取，獲得矯正標準化的人臉圖片；

S4.人臉角度和模糊度預測：通過訓練好的第二神經網絡模型對矯正標準化的人臉圖片進行人臉角度和人臉模糊度分析，預測人臉角度分類的置信度及人臉模糊度的回歸值；

S5.屬性輸出：根據預設的人臉角度屬性選擇策略確定人臉角度屬性，輸出對應的屬性及置信度和人臉模糊度的回歸值。

2.如權利要求1所述的一種人臉角度及人臉模糊度分析方法，其特征在于，第一神經網絡模型的損失函數表示如下：

其中，N是預設人臉框的正樣本數量；α_det、α_box和α_landmark表示分別表示人臉分類損失、人臉框和面部特征點損失的權重；表示是否人臉輸入；和分別表示人臉分類損失函數、人臉框損失函數和面部特征點損失函數。

3.如權利要求1所述的一種人臉角度及人臉模糊度分析方法，其特征在于，所述第二神經網絡模型采用LightCNN模型作為特征抽取層，使用預設大小的彩色圖片作為輸入，經過LightCNN抽取特征后，分出兩個分支，第一個分支對接全連接層最終輸出若一個[0，1]的概率值來表示人臉模糊度的回歸值，第二個分支對接全連接層最終輸出5個和為1的區間在[0，1]的概率值來表示人臉角度分類的置信度。

4.如權利要求1所述的一種人臉角度及人臉模糊度分析方法，其特征在于，所述根據人臉角度屬性選擇策略確定人臉角度屬性，輸出對應的屬性及置信度，包括：

將人臉角度屬性歸類為互斥類；互斥類的所有分支概率和為1.

輸出互斥類中置信度最大的屬性及對應的置信度。

5.如權利要求4所述的一種人臉角度及人臉模糊度分析方法，其特征在于，對于所述互斥類，采用交叉熵作為損失函數，如下：

對于模糊度回歸，采用均方差作為損失函數，如下：

其中，表示所有預測的屬性的概率值，y表示所有預測屬性的真實值，y∈{0，1}；0代表本張圖片沒有這個屬性，1代表本張圖片有這個屬性；均表示第i個屬性的預測概率值；y_i表示第i個屬性的真實值；n代表全部屬性的種類數。