[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)評估人臉圖像質(zhì)量的方法和裝置

在審

• 申請?zhí)枺?/td>: 201711439458.7
• 申請日: 2017-12-27
• 公開（公告）號: CN108269250A
• 公開（公告）日: 2018-07-10
• 發(fā)明（設(shè)計）人: 向少雄;賀波濤;吳迪
• 申請（專利權(quán)）人: 武漢烽火眾智數(shù)字技術(shù)有限責(zé)任公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京匯澤知識產(chǎn)權(quán)代理有限公司 11228
• 代理人: 張濤

本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)評估人臉圖像質(zhì)量的方法和裝置，方法包括：采集監(jiān)控視頻中的多張人臉圖像，構(gòu)建人臉數(shù)據(jù)集，人臉數(shù)據(jù)集中包含每張人臉圖像對應(yīng)的初步質(zhì)量值；計算每張人臉圖像的圖像數(shù)據(jù)，根據(jù)每張圖像數(shù)據(jù)和初步質(zhì)量值生成訓(xùn)練樣本集，圖像數(shù)據(jù)包括關(guān)鍵點二值圖像、灰度圖和邊緣強(qiáng)度圖；基于卷積神經(jīng)網(wǎng)絡(luò)對訓(xùn)練樣本集進(jìn)行訓(xùn)練，得到質(zhì)量評價模型；將待識別人臉圖像生成圖像數(shù)據(jù)，將圖像數(shù)據(jù)通過質(zhì)量評價模型進(jìn)行人臉質(zhì)量評價，得到待識別人臉圖像的質(zhì)量值。方案通過判斷出視頻中人臉圖像質(zhì)量最好的那一幀用于后續(xù)人臉分析識別工作。本發(fā)明可優(yōu)化質(zhì)量評價及過濾的效果，大大提升案件偵辦效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其涉及基于卷積神經(jīng)網(wǎng)絡(luò)評估人臉圖像質(zhì)量的方法和裝置。

背景技術(shù)

隨著科技的快速發(fā)展,智能視頻監(jiān)控技術(shù)在公安刑偵業(yè)務(wù)中廣泛應(yīng)用，通過從視頻監(jiān)控中發(fā)現(xiàn)和鎖定嫌疑目標(biāo)已成為刑偵技術(shù)的重要手段。

在實際應(yīng)用中，工作人員鎖定了嫌疑人后,需要通過靜態(tài)識別確定嫌疑人身份信息或通過動態(tài)識別進(jìn)行布控以方便實施抓捕，然而，待識別圖像中人臉的角度、旋轉(zhuǎn)、光照、分辨率、噪聲、遮擋等因素都會對識別結(jié)果產(chǎn)生重大影響。目前如何從大量人臉圖像中挑選中滿足要求的人臉圖像尚沒有技術(shù)能夠?qū)崿F(xiàn)。

發(fā)明內(nèi)容

本發(fā)明實施例提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)評估人臉圖像質(zhì)量的方法，方法包括：

采集監(jiān)控視頻中的多張人臉圖像，計算每張人臉圖像對應(yīng)的初步質(zhì)量值；

計算所述每張人臉圖像的圖像數(shù)據(jù)，根據(jù)每張圖像數(shù)據(jù)與所述圖像數(shù)據(jù)對應(yīng)的所述初步質(zhì)量值生成訓(xùn)練樣本集，所述圖像數(shù)據(jù)包括關(guān)鍵點二值圖像、灰度圖和邊緣強(qiáng)度圖；

基于卷積神經(jīng)網(wǎng)絡(luò)對所述訓(xùn)練樣本集進(jìn)行訓(xùn)練，得到質(zhì)量評價模型；

將待識別人臉圖像生成的圖像數(shù)據(jù)，通過所述質(zhì)量評價模型進(jìn)行人臉質(zhì)量評價，得到所述待識別人臉圖像的質(zhì)量值。

其中，所述初步質(zhì)量值具體為每個質(zhì)量評估參數(shù)與評估權(quán)重相乘之和，所述質(zhì)量評估參數(shù)包括人臉角度、清晰度、遮擋及亮度。

具體的，計算所述每張人臉圖像的圖像數(shù)據(jù)，具體包括，

對人臉圖像采用dlib的關(guān)鍵點檢測器，獲得所述人臉圖像的關(guān)鍵點，生成所述人臉圖像的關(guān)鍵點二值圖像；

對所述人臉圖像進(jìn)行灰度化處理得到人臉圖像的灰度圖；

利用laplacian算子對所述灰度圖求取邊緣強(qiáng)度響應(yīng)并生成邊緣強(qiáng)度圖；

將所述關(guān)鍵點二值圖像、所述人臉圖像灰度圖和所述邊緣強(qiáng)度圖，作為圖像的三個通道數(shù)據(jù)，生成圖像數(shù)據(jù)，所述圖像數(shù)據(jù)作為訓(xùn)練樣本。

本發(fā)明中卷積神經(jīng)網(wǎng)絡(luò)通過卷積計算式對所述訓(xùn)練樣本集進(jìn)行訓(xùn)練，采用的卷積計算式為

其中，xⁱ和y^j分別是第i個輸入特征圖和第j個輸出特征圖，k^ij是第i 個輸入特征圖與第j個輸出特征圖之間的卷積核，*表示卷積，BN_γ,β(x)表示 BatchNormalization，r表示共享權(quán)值的局部區(qū)域；

所述交叉熵?fù)p失函數(shù)為L⁽ⁱ⁾(k)＝y(tǒng)⁽ⁱ⁾logp⁽ⁱ⁾+(1-y⁽ⁱ⁾)(1-logp⁽ⁱ⁾)，其中， y⁽ⁱ⁾表示第i個樣本對應(yīng)的帶質(zhì)量評價分值的標(biāo)簽，p⁽ⁱ⁾表示該樣本通過卷積神經(jīng)網(wǎng)絡(luò)輸出的質(zhì)量質(zhì)量評價分值。

第一方面，本發(fā)明實施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)評估人臉圖像質(zhì)量的裝置，所述裝置包括：