[發明專利]一種基于面部曲線彈性匹配的三維人臉識別方法

有效

• 申請號: 201310168915.9
• 申請日: 2013-05-09
• 公開（公告）號: CN103246875A
• 公開（公告）日: 2013-08-14
• 發明（設計）人: 達飛鵬;潘仁林;陶海躋;劉健;郭濤;陳璋雯
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 楊曉玲

1.一種基于面部曲線彈性匹配的三維人臉識別方法，其特征在于：該方法包括以下步驟：

步驟1)，分別對測試人臉模型和N個庫人臉集模型進行預處理，所述預處理步驟如下：

步驟1.1)，對原始人臉模型進行切割得到人臉模型：

根據人臉點云的形狀指數Shape?Index特征和幾何約束確定鼻尖點位置，以該點為球心，90mm為半徑做球體，舍棄落在所述球體以外的點，保留所述球體內的點作為后續處理的人臉區域；

步驟1.2)，人臉表面平滑處理及姿態校正：

對切割后的人臉點云三角化，得到空間三角網格，然后用基于網格的平滑算法對人臉區域進行平滑去噪，經過10次迭代處理，得到表面平滑的三維人臉網格，然后將表面平滑的三維人臉網格恢復成人臉點云；

對平滑后的人臉點云用主成分分析法PCA進行姿態校正，經主成分分析PCA得到3個互相垂直的主軸方向，以鼻尖點為原點，選取最大的特征值對應的特征向量作為Y軸，最小的特征值對應的特征向量作為Z軸，建立右手坐標系，并以所述右手坐標系為姿勢坐標系PCS，將人臉點云轉換到所述姿勢坐標系PCS中，人臉點云中每個點由所述姿勢坐標系PCS中x、y、z坐標唯一表示；

步驟2)，分別對所述步驟1)預處理后的測試人臉模型和庫集人臉模型提取人臉徑向曲線并對徑向曲線進行重采樣：

步驟2.1)，在所述步驟1)姿勢坐標系PCS中，記具有正面姿態的三維人臉曲面為S，平面YOZ的上半平面為p₁，計算人臉點云上每個點到所述平面p₁的距離，選擇距離小于徑向閾值δ＝0.3的點的集合作為徑向曲線c₁；將平面p₁繞Z軸以角度α＝10為間隔逆時針旋轉，得到平面p₂，按所述求取徑向曲線c₁的方法得到徑向曲線c₂；繼續以角度α逆時針旋轉平面p₁，得到平面p_k(k＝1，2，...，36)，按所述求取徑向曲線c₁的方法最終得到徑向曲線c_k(k＝1，2，..，36)；

步驟2.2)，以所述步驟2.1)中的平面p₁與步驟1.2)中姿勢坐標系PCS中的XOY平面相交得到的曲線作為參考曲線，在參考曲線上每隔1mm采樣一個點，選擇徑向曲線c₁上與該點在參考曲線方向上的距離最近且小于重采樣閾值ζ＝0.3的點作為徑向曲線c₁的采樣點，得到重采樣徑向曲線rc₁；按所述徑向曲線c₁的重采樣方法，依次對所述步驟2.1)得到的36條徑向曲線進行重采樣，得到重采樣徑向曲線rc_k(k＝1，2，...，36)；

步驟3)，建立庫集人臉模型重采樣徑向曲線的形狀樹：

步驟3.1)，記重采樣后的徑向曲線rc₁上的采樣點為(a₁，a₂，...，a_n)，n表示曲線上點的個數，選取一點a_i作為中間采樣點，取記L(a_i|a₁，a_n)表示a_i相對于a₁和a_n的Bookstein坐標；所述Bookstein坐標計算方法如下：首先將a₁映射至Bookstein坐標系下(-0.5，0)處、a_n映射至Bookstein坐標系下(0.5，0)處，則a_i相對于a₁和a_n的位置L(a_i|a₁，a_n)＝(a⁽¹⁾，a⁽²⁾)由式(1)求得：

a(1)=[(an(1)-a1(1))(ai(1)-a1(1))+(an(2)-a1(2))(ai(2)-a1(2))]D122-12a(2)=[(an(1)-a1(1))(ai(2)-a1(2))-(an(2)-a1(2))(ai(1)-a1(1))]D122]]>??????????????????????(1)式

其中，D12=(an(1)-a1(1))2+(an(2)-a1(2))2,]]>為a_q(q＝1，2，...，n)的平面二維坐標；

步驟3.2)，建立一個二叉樹，每個二叉樹結點存放當前首、尾和中間采樣點的序號及中間采樣點相對于首、尾采樣點的Bookstein坐標；將L(a_i|a₁，a_n)及a_i、a₁和a_n的采樣點序號存入二叉樹的根結點，選取作為a₁和a_i的中間采樣點，按照所述步驟3.1)中a_i相對于a₁和a_n的Bookstein坐標計算方法求出相對于a₁和a_i的Bookstein坐標并將及a₁和a_i的序號存入二叉樹的根結點的左子結點；選取作為a_i和a_n的中間采樣點，按照所述步驟3.1)中a_i相對于a₁和a_n的Bookstein坐標計算方法求出相對于a_i和a_n的Bookstein坐標并將及a_i和a_n的序號存入二叉樹的根結點的右子結點；

步驟3.3)，按照所述步驟3.1)和步驟3.2)，繼續求取所述左子結點的子結點和右子結點的子結點，直到二叉樹結點的首、尾采樣點序號之差為1時，不再求取該結點的子結點；當二叉樹的所有底層結點不可再求取子結點時，二叉樹建立完畢，建立的二叉樹稱為形狀樹；

步驟3.4)，重復所述步驟3.1)至步驟3.3)，建立庫集人臉模型的36條重采樣徑向曲線的形狀樹；

步驟4)，將所述步驟2)得到的測試人臉模型重采樣徑向曲線與所述步驟3)建立的庫集人臉模型重采樣徑向曲線的形狀樹進行分層匹配：

步驟4.1)，選取測試人臉模型上的一條重采樣徑向曲線B，記重采樣徑向曲線B上的采樣點為(b₁，b₂，...，b_m)，重采樣徑向曲線B與庫集人臉模型對應的重采樣徑向曲線的形狀樹A進行比較，比較步驟如下：

選取重采樣徑向曲線B上一點b_j，選取規則為計算b_j相對于b₁和b_m的Bookstein坐標L(b_j|b₁，b_m)；將所述Bookstein坐標L(b_j|b₁，b_m)與庫集形狀樹的根結點存儲的Bookstein坐標L(a_i|a₁，a_n)進行比較，Bookstein坐標比較方式如下：

對于Bookstein坐標分別為(x₁，y₁)和(w₁，z₁)的兩點，首先根據式(2)：

(u₁，v₁)＝(w₁cosθ-z₁sinθ，w₁sinθ+z₁cosθ)?????????????????????????(2)式

將(w₁，z₁)映射為(u₁，v₁)，其中然后計算普式距離dif為：

dif=(u1-x1)2+(v1-y1)2]]>

普式距離dif即為兩個Bookstein坐標的相似度；

記A₁、A₂分別為庫集形狀樹的左、右子樹，B₁＝(b₁，b₂，...b_j)和B₂＝(b_j，b_j+1，...，b_m)分別為中間點b_j將重采樣徑向曲線B分成的左子曲線和右子曲線；重采樣徑向曲線B與庫集形狀樹A之間的相似度為：

其中，λ_A為權重因子，為A₁和B₁的相似度，為A₂和B₂的相似度，dif為兩個Bookstein坐標的相似度；

如果b_j使得A₁和B₁的相似度A₂和B₂的相似度及兩個Bookstein坐標的相似度dif加權之和S₁最小，則S₁作為徑向曲線B與庫集形狀樹A之間的相似度其中和分別按所述計算方式計算；

步驟4.2)，按照所述步驟4.1)，求取測試人臉模型所有的重采樣徑向曲線與庫集人臉模型的重采樣徑向曲線的對應形狀樹之間的相似度對所有進行加權融合作為最后測試人臉模型與庫集人臉模型的分層匹配相似度

其中，曲線權重因子ωk=e-k/36,k=1,...,18e-(38-k)/36,k=19,...,36;]]>

步驟4.3)，按照所述步驟4.1)和步驟4.2)，計算測試人臉模型與N個庫集人臉模型的分層匹配相似度，得到分層匹配相似度向量為測試模型第l個庫集模型的分層匹配相似度，其中m＝1，2，...，N；

步驟5)，建立測試人臉模型重采樣徑向曲線與庫集人臉模型重采樣徑向曲線的有用點對，然后利用重采樣徑向曲線上有用點對中的有用點到人臉模型鼻尖點的距離對測試人臉模型重采樣徑向曲線與庫集人臉模型重采樣徑向曲線進行點距匹配：

步驟5.1)，對所述步驟2.2)得到的重采樣參考曲線上的任一點pt，使用采樣標志flag_pt標志該點位置是否包含采樣點；重采樣時參考曲線上每隔1mm的對應位置上若存在采樣點，則參考曲線該點位置處的采樣標志flag_pt設為1，否則設為0；

求出參考曲線上每隔1mm的對應位置處采樣點是否可用的有用點標志pflag：

pflag＝flag_a·flag_b

當測試人臉采樣參考曲線上一點采樣標志flag_b和庫集人臉采樣參考曲線上該點采樣標志flag_b均為1時，有用點標志pflag為1，則采樣參考曲線上對應的重采樣徑向曲線上的采樣點a和采樣點b為有用點，該對采樣點才能參與比較；

按照所述有用點判斷方法，對所有重采樣徑向曲線上的點進行有用點判斷；

步驟5.2)，比較測試人臉模型重采樣徑向曲線和庫集人臉模型重采樣徑向曲線的點距相似度：

求取庫集人臉模型第k條重采樣徑向曲線上第t個采樣點與鼻尖點的歐式距離為測試人臉模型第k條重采樣徑向曲線上第t個采樣點與鼻尖點的歐式距離為則第k條重采樣徑向曲線的特征相似度φ_k定義如式(3)：

φk=Σt=1nkpflagt·|(dPt-dGt)|Nk]]>???????????????????????????????????????(3)式

其中n_k為第k條重采樣徑向曲線總共采樣點數，有用的采樣點對數記為N_k，pflag_t為采樣點有用點標志；

計算出所有的重采樣徑向曲線的特征相似度φ_k(k＝1，2，...，36)并進行加權求和，得到測試人臉模型與庫集人臉模型的點距匹配相似度φ：

φ=Σk=136ωk·φk]]>

其中ω_k為步驟4.2)所述的曲線權重因子；

步驟5.3)，按照所述步驟5.1)和步驟5.2)，計算測試人臉模型與N個庫集人臉模型的點距匹配相似度，得到點距匹配相似度向量為測試模型第m個庫集模型的點距相似度，其中m＝1，2，...，N；

步驟6)，將所述步驟4)得到的分層匹配相似度向量S_h和步驟5)得到的點距匹配相似度向量S_p加權融合得到測試人臉模型和庫集人臉模型的最終相似度向量S，加權融合方法如下：

分別對分層匹配相似度向量S_h和點距匹配相似度向量S_p進行歸一化：

其中，為測試模型第l個庫集模型的分層匹配相似度，φ_pm為測試模型第m個庫集模型的點距相似度；得到歸一化后的分層匹配相似度和歸一化后的點距匹配相似度φ′_pm，從而得到歸一化后的分層匹配相似度向量S′_h和歸一化后的點距匹配相似度向量S′_p；

對所述歸一化后的分層匹配相似度向量S′_h和歸一化后的點距匹配相似度向量S′_p進行加權求和，S＝w_hS′_h+w_pS′_p，得到最終相似度向量S，其中w_h＝0.6，w_p＝0.4，所述最終相似度向量S中最小的相似度值對應的庫集人臉模型為最終的識別結果。