[發明專利]結合人臉關鍵點檢測的人臉相對姿態估計方法

有效

• 申請號: 202011489338.X
• 申請日: 2020-12-16
• 公開（公告）號: CN112580496B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 于慧敏;劉柏邑
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V40/16;G06T7/11;G06V10/82
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種結合人臉關鍵點檢測的人臉相對姿態估計方法，其特征在于，該方法包括如下步驟：

步驟1：對兩張對應角度的RGB圖像I_source和I_target進行人臉關鍵點檢測，從中選取多個對應關鍵點的RGB-D三維坐標點{KeyPoint_snum}和{KeyPoint_tnum}，進行兩組三維坐標點的匹配得到人臉姿態相對估計的初始旋轉矩陣R_start；

步驟2：根據步驟1中的二維關鍵點坐標，在RGB圖像I_source和I_target中分別裁剪大小不同的區域用來匹配；其中I_source裁剪區域I′_source大于I_target裁剪區域I′_target；

步驟3：對步驟2中得到兩個姿態對應的人臉區域I′_source和I′_target進行下采樣，得到對應的人臉區域I″_source和I″_target，對于I″_target中的點，選取其中點集t∈I″_target，同時在I″_source中選取點集s∈I″_source；計算點集中每一點P_i∈t與點集中其他所有點P_j∈t并且i≠j的點對特征FP_ij，得到FP_ij組成的矩陣FP_mat，大小為N_P*N_P，其中N_P為點集中點的數量；以同樣方式計算Q_i∈s的點對特征FQ_ij組成的矩陣FQ_mat，大小為N_Q*N_Q；將點對特征矩陣FP_mat和FQ_mat中的特征FP_ij和FQ_ij進行哈希并保存到哈希表H中，對于最匹配的點對特征分配相同的哈希值，由此在兩個點集t和s中找到對應的點對并形成點集，分別為PP_t和PP_s；利用奇異值分解的方法，計算PP_t和PP_s之間的旋轉矩陣R和空間平移T；迭代直到||PP_s-PP_t||小于一定閾值ε或迭代次數達到一定次數后停止迭代；

步驟4：將步驟1中得到的旋轉矩陣R_start與步驟3迭代多次得到的旋轉矩陣R和空間平移T進行矩陣相乘計算，得到旋轉矩陣R_final；用旋轉矩陣與歐拉角之間的變換關系，得到相對姿態的估計結果{angle_x，angle_y，angle_z}。

2.根據權利要求1所述的方法中，其特征在于，所述步驟1中，對兩組關鍵點{KeyPoint_snum}和{KeyPoint_tnum}的匹配，匹配點編號固定為snum，tnum＝31，37，46，49，55，分別為2個外眼角、2個外嘴角、鼻尖。

3.根據權利要求1所述的方法，其特征在于，所述的步驟2中對人臉區域的裁剪基于人臉關鍵點的二維坐標，方法具體如下：

人臉的裁剪區域為矩形，矩形的四條邊由關鍵點坐標{X_snum，Y_snum}和{X_tnum，Y_tnum}的兩個維度上的最大值和最小值決定；其中，I_source裁剪區域I′_source的邊界在4個最值的基礎上再向外擴5個像素，而I_target裁剪區域I′_target的邊界在4個最值的基礎上再向內縮5個像素。