[發明專利]智能交互式人臉關鍵點標注方法

有效

• 申請號: 201710486633.1
• 申請日: 2017-06-23
• 公開（公告）號: CN107423689B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 張舉勇
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種智能交互式人臉關鍵點標注方法，其特征在于，包括：

步驟A、通過人臉檢測算法得到人臉矩形框；

步驟B、利用人臉關鍵點檢測算法預測人臉矩形框中的人臉關鍵點集合P；

步驟C、根據用戶反饋的消息判斷人臉關鍵點集合P是否滿足要求；若否，則利用人臉關鍵點集合P建立3D人臉模型M，并將3D人臉模型M中對應的人臉關鍵點重新投影到2D圖片中，得到新的人臉關鍵點集合P1；

步驟D、根據用戶返回的操作指令對人臉關鍵點集合P1中不準確的關鍵點重新進行編輯，獲得編輯后的人臉關鍵點集合P2；

步驟E、利用編輯后的人臉關鍵點集合P2與3D人臉模型M重新預測人臉關鍵點集合P3，包括：參照編輯后的人臉關鍵點集合P2，將3D人臉模型M中的關鍵點集合劃分為被改動點L_A，未改動點L_B；參照人臉關鍵點集合P1，將編輯后的人臉關鍵點集合P2劃分為被改動點P2_A，未改動點P2_B；使用最小二乘法優化3D人臉模型M的參數與弱透視投影的參數，擬合3D人臉模型中的關鍵點集合與編輯后的人臉關鍵點集合P2，其中，λ為針對被改動點所設定的權重；

步驟F、根據用戶反饋的消息判斷人臉關鍵點集合P3是否滿足要求；若是，則直接輸出；若否，則結合人臉關鍵點集合P3重復上述步驟C～步驟E直至滿足要求。

2.根據權利要求1所述的一種智能交互式人臉關鍵點標注方法，其特征在于，所述3D人臉模型M中包括：平均人臉身份向量A_id、身份向量系數α_id、表情向量A_exp以及表情向量系數α_exp，表示為：

3.根據權利要求1所述的一種智能交互式人臉關鍵點標注方法，其特征在于，所述將3D人臉模型M中對應的人臉關鍵點重新投影到2D圖片中，得到新的人臉關鍵點集合P1的步驟為：

使用初始參數初始化3D人臉模型M得到平均臉的關鍵點點位集合L；使用弱透視投影的方法將3D人臉模型M中的關鍵點點位集合S投影為2D圖片中的關鍵點集合l_2d，表示為：

l_2d＝fP'R(α,β,γ)(L+t_3d)；

其中，f為關鍵點的縮放系數；P'為投影矩陣；R為旋轉矩陣，α,β,γ分別為x，y，z三個軸上的旋轉角度；t_3d為偏移向量；

使用最小二乘法優化3D人臉模型M的參數與弱透視投影的參數，擬合關鍵點集合l_2d與人臉關鍵點集合P，得到新的人臉關鍵點集合P1，表示為：

4.根據權利要求1所述的一種智能交互式人臉關鍵點標注方法，其特征在于，所述根據用戶返回的操作指令對人臉關鍵點集合P1中不準確的關鍵點重新進行編輯包括：

用戶返回的操作指令中包含了不準確關鍵點的正確位置信息，當接收到用戶返回的操作指令后，將不準確關鍵點調整至正確位置。