[發(fā)明專利]一種人臉輪廓提取方法

有效

• 申請?zhí)枺?/td>: 201810199612.6
• 申請日: 2018-03-12
• 公開（公告）號: CN108509866B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計）人: 李桂清;曹旭;聶勇偉
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.一種人臉輪廓提取方法，其特征在于，包括以下步驟：

1)人臉圖像預(yù)處理

輸入一張圖像之后，使用人臉檢測的算法提取出其中人臉的區(qū)域，并通過關(guān)鍵特征點定位算法找到人臉輪廓的大致區(qū)域；

2)局部正方形區(qū)域采樣

在沿著人臉輪廓的大致區(qū)域采樣生成一系列稠密的正方形，將整個人臉輪廓區(qū)域包含其中；

3)局部輪廓曲線提取

在每個局部正方形區(qū)域中，都提取一條拋物線引導(dǎo)基于梯度信息的局部輪廓曲線，構(gòu)成局部輪廓曲線組成的局部結(jié)果集合；

4)全局輪廓曲線融合

通過基于PCA的全局融合算法，將稠密冗余的局部輪廓曲線融合成為一條全局輪廓曲線結(jié)果，得到完整的人臉輪廓線。

2.根據(jù)權(quán)利要求1所述的一種人臉輪廓提取方法，其特征在于，在步驟1)中，所述的通過關(guān)鍵特征點定位算法找到人臉輪廓的大致區(qū)域，對初始化位置有魯棒性，具體如下：

使用人臉檢測算法提取人臉在圖片中所在的區(qū)域，得到人臉區(qū)域的包圍框，同時獲取這張圖片中人臉的位置以及尺度的大小信息；然后使用人臉對齊算法得到臉部輪廓上的幾個粗糙的關(guān)鍵點作為初始化，連成一條表示人臉輪廓區(qū)域的初始化曲線；

在步驟2)中，所述的在沿著人臉輪廓的大致區(qū)域采樣生成一系列稠密的正方形，將整個人臉輪廓區(qū)域包含其中，具體如下：

步驟1)中已經(jīng)得到表征人臉輪廓區(qū)域的一條初始化曲線，沿著這條曲線將整個人臉輪廓區(qū)域劃分為多個重疊的正方形區(qū)域，且這些正方形區(qū)域的中心點位于初始化曲線上，正方形區(qū)域的大小設(shè)置為人臉檢測算法提取的人臉包圍框大小的預(yù)設(shè)倍率，這些重疊的正方形區(qū)域要覆蓋全部的人臉輪廓區(qū)域，正方形區(qū)域的方向設(shè)置為當前中心點的初始化曲線的切線方向，得到的局部輪廓曲線結(jié)果總是從正方形區(qū)域的頂部開始，到正方形底部結(jié)束，初始化曲線位于真實人臉輪廓的附近，這些重疊的正方形區(qū)域就覆蓋住整個真實的人臉輪廓；另外，在此采用密集采樣人臉輪廓區(qū)域的方法能夠得到大量重疊冗余的局部輪廓曲線結(jié)果，滿足在步驟4)全局輪廓曲線提取步驟中交叉驗證的需要；

在步驟3)中，所述的在每個局部正方形區(qū)域中，都提取一條拋物線引導(dǎo)基于梯度信息的局部輪廓曲線，構(gòu)成局部輪廓曲線組成的局部結(jié)果集合，具體如下：

步驟2)中得到大量重疊的正方形區(qū)域，在每個正方形區(qū)域中都包含一段真實的人臉輪廓曲線，而且每一塊正方形區(qū)域的方向，即任意一個正方形邊的垂直方向，均與初始化曲線的方向一致；在這一步驟中根據(jù)以下方法得到拋物線引導(dǎo)基于梯度信息的局部輪廓曲線：

每一塊正方形的方向均與初始化曲線的方向一致，則局部以這個正方形區(qū)域的邊作為直角坐標系單獨看這塊正方形區(qū)域，局部的人臉輪廓線C一定是從正方形區(qū)域的頂部開始，到正方形區(qū)域的底部結(jié)束；這個正方形區(qū)域是N×N的像素矩陣，那么局部輪廓曲線C表示為N個來自不同行的像素集合：

C＝＜p₁,p₂,...,p_i,...,p_N＞

其中，C是局部輪廓曲線,p_i＝(i,j)是這個局部輪廓曲線C上的第i個點，而且這個點的位置是在這個正方形區(qū)域的第i行、第j列，其中i和j的范圍都是[1,N]；p₁是第一個點，p_N是最后一個點；對于局部人臉輪廓線上相鄰的兩個點p_i和p_i+1,要求其相鄰兩列數(shù)差不大于1，確保像素之間的平滑性；

拋物線引導(dǎo)基于梯度信息的局部輪廓曲線通過下面能量函數(shù)確定所在位置：

其中，是優(yōu)化得到最優(yōu)的局部輪廓曲線，G(C)表示局部輪廓曲線C的梯度值，而S(C)表示局部輪廓曲線C的曲率，α值是調(diào)節(jié)這條局部輪廓曲線C的平滑程度；上面的能量函數(shù)難以直接求解，因此使用動態(tài)規(guī)劃的方法來求解這個問題，同時沒有直接求解整條局部輪廓曲線的平滑度S(C)，而是利用貪心算法引導(dǎo)結(jié)果更像一條拋物線；C^*(i,j)是使用動態(tài)規(guī)劃算法得到的從第0行到第i行區(qū)域內(nèi)以(i,j)點終止的局部輪廓曲線，那么它一定來自于之前的{C^*(i-1,j-1)，C^*(i-1,j)，C^*(i-1,j+1)}三條輪廓線中的一個，使用d_i-1,j+Δ(i,j)表示點(i,j)到拋物線C^*(i-1,j+Δ)，Δ＝{-1，0，1}的距離，使用表示偏離拋物線的誤差，動態(tài)規(guī)劃算法的過程如下表示：

其中，M表示動態(tài)規(guī)劃的矩陣，M(i-1,j+Δ)是矩陣上一行對應(yīng)點的能量，g(i,j)表示這個點處的梯度值，i是行數(shù)，j是列數(shù)，e_i-1,j+Δ(i,j)表示偏離拋物線的誤差，α值是控制平滑度的參數(shù)，不同α值對局部輪廓曲線C結(jié)果有影響，需經(jīng)過實驗取一個合適的值。

3.根據(jù)權(quán)利要求1所述的一種人臉輪廓提取方法，其特征在于：在步驟4)中，所述的通過基于PCA的全局融合算法，將稠密冗余的局部輪廓曲線融合成為一條全局輪廓曲線結(jié)果，得到完整的人臉輪廓線，具體如下：

通過步驟2)在人臉輪廓區(qū)域上通過密集采樣得到正方形區(qū)域集合，然后通過步驟3)在每個正方形區(qū)域中得到一條局部輪廓曲線；現(xiàn)在就得到由多段重疊的局部輪廓曲線的集合；令表示第k條局部輪廓曲線上的第i個點；M表示局部人臉輪廓線的數(shù)目，N表示每條局部人臉輪廓線的長度；如此所有的局部輪廓曲線通過一系列的點表示因為步驟2)對人臉輪廓區(qū)域的密集采樣，P點的集合大量冗余，不僅包含真是人臉輪廓上的點，而且還有失敗的局部輪廓曲線上的點，在全局輪廓曲線融合中找出一條單像素寬度精確的全局輪廓曲線；

人臉輪廓曲線通常包含大量的彎曲細節(jié)特征，無法通過簡單的參數(shù)化形式表示；因此需要使用一系列點Q＝{q_l}_l∈[1,L]的隊列來表示最終的全局輪廓曲線結(jié)果，其中L為全局輪廓曲線的長度，同時Q中的點都來自于P以保持全局輪廓曲線的彎曲細節(jié)特征；

在最開始隊列Q是空的，很顯然q₀就是第一條局部輪廓曲線上的第一個點p₀，然后每次通過PCA算法來尋找下一個點；

為了計算點處的PCA方向，首先計算點對于P中所有其他點的協(xié)方差矩陣如下：

其中，就是點的協(xié)方差矩陣，表示第k條局部輪廓曲線上的第i個點，表示其他的點，并且i'∈[1,N]\{i},k'∈[1,M]\{k}，M表示局部人臉輪廓線的數(shù)目，N表示每條局部人臉輪廓線的長度；函數(shù)θ(·)表示r是兩點之間的距離，h是一個固定閾值；當點之間的距離越遠，則之間的影響越小；所以PCA并不是作用在整個點的集合上的，使用一個閾值h來加速計算；通過這步計算就得到協(xié)方差矩陣的特征值和對應(yīng)最大特征值的特征向量就是所需要的點處的主方向

當隊列Q中最后一個點為q_l，對應(yīng)P中的點為為了獲取下一個點q_l+1,先使用K近鄰算法找到離點q_l最近的K個點在此將K設(shè)為7，如果所有K個點都是屬于第k條局部輪廓曲線，則沿著這條局部輪廓曲線往下走，如果有不屬于第k條局部輪廓曲線的點，那么需要找到點處最符合PCA方向的一個點，通過下面公式計算：

其中，是兩個方向間的內(nèi)積，點處最符合PCA方向的一個點為通過求極值得到的這個過程不斷迭代，直到?jīng)]有點再加入隊列Q中，而Q所有點構(gòu)成的曲線就是所需的全局輪廓曲線。