[發明專利]一種人臉輪廓提取方法

有效

• 申請號: 201810199612.6
• 申請日: 2018-03-12
• 公開（公告）號: CN108509866B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 李桂清;曹旭;聶勇偉
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種人臉輪廓提取方法，其特征在于，包括以下步驟：

1)人臉圖像預處理

輸入一張圖像之后，使用人臉檢測的算法提取出其中人臉的區域，并通過關鍵特征點定位算法找到人臉輪廓的大致區域；

2)局部正方形區域采樣

在沿著人臉輪廓的大致區域采樣生成一系列稠密的正方形，將整個人臉輪廓區域包含其中；

3)局部輪廓曲線提取

在每個局部正方形區域中，都提取一條拋物線引導基于梯度信息的局部輪廓曲線，構成局部輪廓曲線組成的局部結果集合；

4)全局輪廓曲線融合

通過基于PCA的全局融合算法，將稠密冗余的局部輪廓曲線融合成為一條全局輪廓曲線結果，得到完整的人臉輪廓線。

2.根據權利要求1所述的一種人臉輪廓提取方法，其特征在于，在步驟1)中，所述的通過關鍵特征點定位算法找到人臉輪廓的大致區域，對初始化位置有魯棒性，具體如下：

使用人臉檢測算法提取人臉在圖片中所在的區域，得到人臉區域的包圍框，同時獲取這張圖片中人臉的位置以及尺度的大小信息；然后使用人臉對齊算法得到臉部輪廓上的幾個粗糙的關鍵點作為初始化，連成一條表示人臉輪廓區域的初始化曲線；

在步驟2)中，所述的在沿著人臉輪廓的大致區域采樣生成一系列稠密的正方形，將整個人臉輪廓區域包含其中，具體如下：

步驟1)中已經得到表征人臉輪廓區域的一條初始化曲線，沿著這條曲線將整個人臉輪廓區域劃分為多個重疊的正方形區域，且這些正方形區域的中心點位于初始化曲線上，正方形區域的大小設置為人臉檢測算法提取的人臉包圍框大小的預設倍率，這些重疊的正方形區域要覆蓋全部的人臉輪廓區域，正方形區域的方向設置為當前中心點的初始化曲線的切線方向，得到的局部輪廓曲線結果總是從正方形區域的頂部開始，到正方形底部結束，初始化曲線位于真實人臉輪廓的附近，這些重疊的正方形區域就覆蓋住整個真實的人臉輪廓；另外，在此采用密集采樣人臉輪廓區域的方法能夠得到大量重疊冗余的局部輪廓曲線結果，滿足在步驟4)全局輪廓曲線提取步驟中交叉驗證的需要；

在步驟3)中，所述的在每個局部正方形區域中，都提取一條拋物線引導基于梯度信息的局部輪廓曲線，構成局部輪廓曲線組成的局部結果集合，具體如下：

步驟2)中得到大量重疊的正方形區域，在每個正方形區域中都包含一段真實的人臉輪廓曲線，而且每一塊正方形區域的方向，即任意一個正方形邊的垂直方向，均與初始化曲線的方向一致；在這一步驟中根據以下方法得到拋物線引導基于梯度信息的局部輪廓曲線：

每一塊正方形的方向均與初始化曲線的方向一致，則局部以這個正方形區域的邊作為直角坐標系單獨看這塊正方形區域，局部的人臉輪廓線C一定是從正方形區域的頂部開始，到正方形區域的底部結束；這個正方形區域是N×N的像素矩陣，那么局部輪廓曲線C表示為N個來自不同行的像素集合：

C＝＜p₁,p₂,...,p_i,...,p_N＞

其中，C是局部輪廓曲線,p_i＝(i,j)是這個局部輪廓曲線C上的第i個點，而且這個點的位置是在這個正方形區域的第i行、第j列，其中i和j的范圍都是[1,N]；p₁是第一個點，p_N是最后一個點；對于局部人臉輪廓線上相鄰的兩個點p_i和p_i+1,要求其相鄰兩列數差不大于1，確保像素之間的平滑性；

拋物線引導基于梯度信息的局部輪廓曲線通過下面能量函數確定所在位置：

其中，是優化得到最優的局部輪廓曲線，G(C)表示局部輪廓曲線C的梯度值，而S(C)表示局部輪廓曲線C的曲率，α值是調節這條局部輪廓曲線C的平滑程度；上面的能量函數難以直接求解，因此使用動態規劃的方法來求解這個問題，同時沒有直接求解整條局部輪廓曲線的平滑度S(C)，而是利用貪心算法引導結果更像一條拋物線；C^*(i,j)是使用動態規劃算法得到的從第0行到第i行區域內以(i,j)點終止的局部輪廓曲線，那么它一定來自于之前的{C^*(i-1,j-1)，C^*(i-1,j)，C^*(i-1,j+1)}三條輪廓線中的一個，使用d_i-1,j+Δ(i,j)表示點(i,j)到拋物線C^*(i-1,j+Δ)，Δ＝{-1，0，1}的距離，使用表示偏離拋物線的誤差，動態規劃算法的過程如下表示：

其中，M表示動態規劃的矩陣，M(i-1,j+Δ)是矩陣上一行對應點的能量，g(i,j)表示這個點處的梯度值，i是行數，j是列數，e_i-1,j+Δ(i,j)表示偏離拋物線的誤差，α值是控制平滑度的參數，不同α值對局部輪廓曲線C結果有影響，需經過實驗取一個合適的值。

3.根據權利要求1所述的一種人臉輪廓提取方法，其特征在于：在步驟4)中，所述的通過基于PCA的全局融合算法，將稠密冗余的局部輪廓曲線融合成為一條全局輪廓曲線結果，得到完整的人臉輪廓線，具體如下：

通過步驟2)在人臉輪廓區域上通過密集采樣得到正方形區域集合，然后通過步驟3)在每個正方形區域中得到一條局部輪廓曲線；現在就得到由多段重疊的局部輪廓曲線的集合；令表示第k條局部輪廓曲線上的第i個點；M表示局部人臉輪廓線的數目，N表示每條局部人臉輪廓線的長度；如此所有的局部輪廓曲線通過一系列的點表示因為步驟2)對人臉輪廓區域的密集采樣，P點的集合大量冗余，不僅包含真是人臉輪廓上的點，而且還有失敗的局部輪廓曲線上的點，在全局輪廓曲線融合中找出一條單像素寬度精確的全局輪廓曲線；

人臉輪廓曲線通常包含大量的彎曲細節特征，無法通過簡單的參數化形式表示；因此需要使用一系列點Q＝{q_l}_l∈[1,L]的隊列來表示最終的全局輪廓曲線結果，其中L為全局輪廓曲線的長度，同時Q中的點都來自于P以保持全局輪廓曲線的彎曲細節特征；

在最開始隊列Q是空的，很顯然q₀就是第一條局部輪廓曲線上的第一個點p₀，然后每次通過PCA算法來尋找下一個點；

為了計算點處的PCA方向，首先計算點對于P中所有其他點的協方差矩陣如下：

其中，就是點的協方差矩陣，表示第k條局部輪廓曲線上的第i個點，表示其他的點，并且i'∈[1,N]\{i},k'∈[1,M]\{k}，M表示局部人臉輪廓線的數目，N表示每條局部人臉輪廓線的長度；函數θ(·)表示r是兩點之間的距離，h是一個固定閾值；當點之間的距離越遠，則之間的影響越小；所以PCA并不是作用在整個點的集合上的，使用一個閾值h來加速計算；通過這步計算就得到協方差矩陣的特征值和對應最大特征值的特征向量就是所需要的點處的主方向

當隊列Q中最后一個點為q_l，對應P中的點為為了獲取下一個點q_l+1,先使用K近鄰算法找到離點q_l最近的K個點在此將K設為7，如果所有K個點都是屬于第k條局部輪廓曲線，則沿著這條局部輪廓曲線往下走，如果有不屬于第k條局部輪廓曲線的點，那么需要找到點處最符合PCA方向的一個點，通過下面公式計算：

其中，是兩個方向間的內積，點處最符合PCA方向的一個點為通過求極值得到的這個過程不斷迭代，直到沒有點再加入隊列Q中，而Q所有點構成的曲線就是所需的全局輪廓曲線。