[發(fā)明專利]一種基于深度學(xué)習(xí)的人臉五官點遮擋檢測方法

在審

• 申請?zhí)枺?/td>: 201910242017.0
• 申請日: 2019-03-28
• 公開（公告）號: CN110287760A
• 公開（公告）日: 2019-09-27
• 發(fā)明（設(shè)計）人: 舒暢;李陽;周寧;李曉峰;傅志中
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/42;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于深度學(xué)習(xí)的人臉五官關(guān)鍵點遮擋檢測算法，屬于圖像處理領(lǐng)域，其整體步驟為：S1：構(gòu)建數(shù)據(jù)集并將數(shù)據(jù)集劃分為訓(xùn)練集和測試集兩部分；S2：經(jīng)過歸一化和熱力圖計算處理提取圖像特征；S3：對處理過后的數(shù)據(jù)集進(jìn)行數(shù)據(jù)集擴充；S4：訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的遮擋檢測模型預(yù)測人臉五官點聯(lián)合遮擋概率；S5：利用閾值分割求取人臉圖像的五官關(guān)鍵點處的遮擋狀態(tài)。本發(fā)明提出一種基于人臉五官定位場景下的人臉五官點遮擋檢測的方法，彌補了當(dāng)前人臉五官定位的方法在五官點遮擋處的信息不足的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的人臉五官關(guān)鍵點遮擋檢測算法。

背景技術(shù)

人臉五官定位的目標(biāo)是為了準(zhǔn)確的定位一些五官點。而由于光照遮擋以及大的旋轉(zhuǎn)和偏移等多種因素，導(dǎo)致在自然環(huán)境下的人臉五官定位存在很大的挑戰(zhàn)性。其背后的原因是五官定位模型缺少大面積遮擋情況下的的五官點的信息來推測出精確的五官點位置，比如圖像中人佩戴墨鏡，眼睛周圍的信息完全缺失。鑒于上述情況，模型需要獲取遮擋點處的信息來增強對遮擋情況下五官點位置的預(yù)測能力，因而判定五官點處是否被遮擋成為至關(guān)重要的環(huán)節(jié)。

健壯級聯(lián)回歸模型關(guān)注人臉在自然環(huán)境下有可能被障礙物遮擋，該模型針對每一個五官點都預(yù)測每個五官點的橫坐標(biāo)，縱坐標(biāo)和這個點被遮擋的概率,但這個模型只是對人臉區(qū)域人為分了9塊，計算每一塊被遮擋的概率，因而沒有精確到每一個五官點的遮擋情況；去噪自編碼器模型中提到可以通過先把人臉遮擋部分恢復(fù)之后再進(jìn)行常規(guī)的人臉五官點的位置預(yù)測，從根源上解決遮擋問題，但是開銷過大，而且自然界中的遮擋各式各樣，沒有辦法通過一個很好的模型來學(xué)習(xí)到不同遮擋的去除方法，因而模型的適用性不強。

人臉五官定位算法模型定位不準(zhǔn)確的一個重要原因是模型缺乏遮擋點處的信息，沒有足夠的特征來對五官點位置進(jìn)行預(yù)測。而為人臉五官定位模型提供五官點處的遮擋信息能夠為模型提供參考，有利于模型進(jìn)行精準(zhǔn)的預(yù)測。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有五官關(guān)鍵點定位算法中的局部遮擋所導(dǎo)致的圖像信息不充足的問題，提供一種人臉五官點遮擋檢測的方法，其利用人臉圖片的全局特征作為神經(jīng)網(wǎng)絡(luò)的輸入特征，輸出人臉五官點遮擋狀態(tài)的多任務(wù)回歸模型，從而為人臉五官定位算法提供額外的信息，主要包括以下步驟：

步驟一、數(shù)據(jù)預(yù)處理：讀取訓(xùn)練集中人臉圖像和人臉五官點位置，并對人臉圖像進(jìn)行白化處理，即減均值除以標(biāo)準(zhǔn)差，計算過程如公式一所示，得到歸一化后的人臉圖像。

其中I_i表示的是輸入人臉圖像的第i張圖像，μ和σ分表表示的是訓(xùn)練集的均值和標(biāo)準(zhǔn)差，IR_i表示的是經(jīng)過歸一化處理之后的第i張圖像。

步驟二、熱力圖計算：利用步驟一中讀取到的人臉五官點位置信息計算出熱力圖作為后續(xù)模型的輸入特征，熱力圖作為圖像特征能夠減少噪聲對遮擋檢測方法的影響，規(guī)避那些除了五官點之外的無用信息，比如臉頰中央不是我們關(guān)心的區(qū)域，而通過熱力圖計算的手段能夠?qū)⒛橆a中央的噪聲置零，計算過程如公式二：

其中為IR_i(x,y)表示的是輸入圖像在(x,y)處的像素值，S_i,j表示的是訓(xùn)練第i個樣本的第j個人臉五官點的位置，H_i(x,y)表示的是輸出的熱力圖。

步驟三、數(shù)據(jù)集擴充：經(jīng)過不同角度的旋轉(zhuǎn)和水平反轉(zhuǎn)對公開數(shù)據(jù)集進(jìn)行數(shù)據(jù)集擴充，原有數(shù)據(jù)集中遮擋圖像和非遮擋圖像樣本存在樣本不均衡的情況，因而本方法額外添加了受高斯噪聲影響的遮擋圖像，添加高斯噪聲的過程如公式三所示。數(shù)據(jù)集擴充的具體方法是對非遮擋的人臉圖像擴充為原先的8倍，對遮擋的人臉圖像擴充為原先的8*(1+1/r_o)倍，這里ro表示的是遮擋人臉圖像在整個訓(xùn)練集中的占比。