[發(fā)明專利]人臉關鍵點的插值方法、裝置、計算機設備和存儲介質

在審

• 申請?zhí)枺?/td>: 202110836320.0
• 申請日: 2021-07-23
• 公開（公告）號: CN113362231A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 陳文喻;劉更代;王志勇
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 侯軍洋

1.一種人臉關鍵點的插值方法，其特征在于，包括：

獲取二維的第一人臉數據，所述第一人臉數據中具有二維的第一人臉關鍵點；

根據所述第一人臉關鍵點擬合三維的第二人臉數據，所述第二人臉數據具有三維的第二人臉關鍵點；

選定所述第二人臉數據中局部的區(qū)域，作為目標區(qū)域；

對所述目標區(qū)域進行線性變形，使得將所述目標區(qū)域中的所述第二人臉關鍵點透視投影至二維的第三人臉關鍵點時，所述第一人臉關鍵點與所述第三人臉關鍵點重疊。

2.根據權利要求1所述的方法，其特征在于，所述第二人臉數據以網格的形式表示，所述網格中具有多個三維的頂點，部分所述頂點為所述第二人臉關鍵點；

所述對所述目標區(qū)域進行線性變形，使得將所述目標區(qū)域中的所述第二人臉關鍵點透視投影至二維的第三人臉關鍵點時，所述第一人臉關鍵點與所述第三人臉關鍵點重疊，包括：

設定對所述目標區(qū)域進行形變、將所述頂點映射至三維的目標點；

計算第一向量與第二向量之間的差異，作為向量差異，所述第一向量為所述頂點轉換的向量，所述第二向量為所述目標點轉換的向量；

計算所述第一人臉關鍵點與第三人臉關鍵點之間的差異，作為重投影差異，所述第三人臉關鍵點為將所述目標點所透視投影的二維的人臉關鍵點；

計算所述目標點在Z軸方向上移動的距離；

將所述向量差異、所述重投影差異與所述距離線性融合，作為目標函數；

以最小化所述目標函數作為目標，求解所述目標點。

3.根據權利要求2所述的方法，其特征在于，所述計算第一向量與第二向量之間的差異，作為向量差異，包括：

對所述頂點進行拉普拉斯變形，得到第一向量；

對所述目標點進行拉普拉斯變形，得到第二向量；

將所述第一向量減去所述第二向量，獲得向量差異。

4.根據權利要求2所述的方法，其特征在于，所述計算所述第一人臉關鍵點與第三人臉關鍵點之間的差異，作為重投影差異，包括：

計算第一參考矩陣，所述第一參考矩陣為包含所述第一人臉關鍵點的單位矩陣與攝像頭的參數之間的乘積，所述攝像頭用于采集所述第一人臉數據；

計算第二參考矩陣，所述第二參考矩陣為所述第一參考矩陣與對所述目標點線性變換后的Z軸的分量之間的比值；

計算第一目標矩陣、第二目標矩陣，所述第一目標矩陣為所述第二參考矩陣與旋轉矩陣之間的乘積，所述第二目標矩陣為所述第二參考矩陣與平移向量之間乘積的反向，所述旋轉矩陣與所述平移向量均用于線性變換；

將所述第一目標矩陣與所述目標點之間的乘積，減去所述第二目標矩陣，獲得重投影差異。

5.根據權利要求2所述的方法，其特征在于，所述計算所述目標點在Z軸方向上移動的距離，包括：

計算旋轉矩陣的Z軸的分量與所述目標點之間的乘積，作為第一中間值；

計算所述第二人臉關鍵點線性變換后之后的Z軸的分量減去平移向量的Z軸的分量之間的差值，作為第二中間值；

計算所述乘積與所述差值之間的差值，作為所述目標點在Z軸方向上移動的距離。

6.根據權利要求2所述的方法，其特征在于，所述將所述向量差異、所述重投影差異與所述距離線性融合，作為目標函數，包括：

對所述重投影差異配置第一權重；

對所述距離配置第二權重；

計算所述向量差異、配置所述第一權重的所述重投影差異與配置所述第二權重的所述距離之間的和值，作為目標函數。