[發明專利]基于單個視頻攝像機的實時人臉動畫方法

有效

• 申請號: 201310047850.2
• 申請日: 2013-02-02
• 公開（公告）號: CN103093490A
• 公開（公告）日: 2013-05-08
• 發明（設計）人: 周昆;翁彥琳;曹晨
• 申請（專利權）人: 浙江大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 周烽

1.一種基于單個視頻攝像機的實時人臉動畫方法，其特征在于，包括以下步驟：

（1）圖像采集和標定：利用視頻攝像機拍攝用戶的多幅具有不同姿勢和表情的二維圖像，對每個圖像利用二維圖像回歸器得到對應的二維人臉特征點，對自動檢測得到的不準確特征點進行手動調整；

（2）數據預處理：利用標定好二維人臉特征點的圖像，進行用戶表情融合模型生成和攝像機內部參數標定，并由此得到圖像的三維特征點；利用三維特征點和步驟1采集的二維圖像，訓練獲得從二維圖像到三維特征點的回歸器；

（3）三維特征點跟蹤：用戶使用視頻攝像機實時輸入圖像，對于輸入的圖像，結合上一幀的三維人臉特征點，利用步驟2中得到回歸器，實時定位當前幀中三維人臉特征點；

（4）姿勢表情參數化：利用三維人臉特征點位置，結合步驟2中得到的用戶表情融合模型，迭代優化以得到人臉姿勢和表情的參數化表達；

（5）替身驅動：將人臉姿勢和表情參數映射到虛擬替身上，用以驅動動畫角色進行人臉動畫。

2.根據權利要求1所述的實時人臉動畫方法，其特征在于，所述步驟1主要包括以下子步驟：?

（1.1）用戶模仿做出相應表情和姿勢，包括15種自然表情下的不同人頭姿勢，和3個姿勢下的15種不同表情，共60組不同的姿勢表情數據，利用視頻攝像機拍攝相應的二維圖像；

（1.2）利用二維圖像回歸器對每一個二維圖像分別進行自動的二維人臉特征點標定；

（1.3）用戶對自動標定的人臉特征點中不滿意的部分，對其進行簡單的拖拽操作，進行人工修復。

3.根據權利要求1所述的實時人臉動畫方法，其特征在于，所述步驟2主要包括以下子步驟：

（2.1）利用已有的三維人臉表情數據庫，對于每一個標定了二維人臉特征點的二維圖像進行擬合，使用最小二乘方法計算相應的剛性參數、個體系數和表情系數；之后對所有二維圖像進行統一優化，得到統一的個體系數，計算得到用戶的表情融合模型；

（2.2）對針孔照相機模型進行簡化假設，將其簡化到只包括一個未知參數，使用二分法來確定最合適的照相機參數；

（2.3）基于上述步驟得到的用戶表情融合模型和照相機參數，擬合每個圖像中人臉剛性參數和表情系數，得到三維人臉特征點位置；其后對二維圖像和其對應的三維特征點進行數據增強操作；

（2.4）利用步驟2.3中生成的二維圖像和三維人臉特征點，訓練獲得一個利用二維圖像信息生成三維人臉特征點的回歸器。

4.根據權利要求1所述的實時人臉動畫方法，其特征在于，所述步驟3主要包括以下子步驟：

（3.1）運行時，先使用上一幀的三維特征點，通過一個剛性變換，將其轉換到原訓練數據中與其最接近的特征點位置，然后在原訓練數據中的三維特征點中找到一組與轉換后特征點最接近的一組特征點作為初始特征點；

（3.2）對每個當前特征點，根據特征點位置，在當前幀圖像上采樣得到外觀向量；

（3.3）在每個原子分類器中，根據序列對在步驟3.2中外觀向量計算對應的特征值，并根據特征值定位相應的分類，并使用分類中對應的輸出更新當前特征點位置；依次通過所有的原子分類器，得到了回歸器給出的輸出結果；

（3.4）對每個初始特征點，用步驟3.2和步驟3.3得到定位的結果，然后對這些結果取中值操作，得到最終的結果。

5.根據權利要求4所述的實時人臉動畫方法，其特征在于，所述步驟4主要包括以下子步驟：

（4.1）保持表情系數不變，利用奇異值分解算法計算當前人臉形狀的剛性姿勢，使得形狀上對應的特征點與權利要求4中描述的三維人臉特征點之間的誤差最小；

（4.2）保持姿勢不變，利用梯度下降算法，擬合當前表情系數，使得形狀上對應的特征點與權利要求4中描述的三維人臉特征點之間的誤差最小；

（4.3）迭代執行步驟4.1和4.2直到收斂，最終得到參數化的人臉姿勢系數和表情系數。

6.根據權利要求1所述的實時人臉動畫方法，其特征在于，所述步驟5主要包括以下子步驟：

（5.1）將參數化的表情系數映射到替身的表情融合模型上，生成對應的人臉表情形狀；

（5.2）為生成的人臉表情形狀賦予參數化的姿勢，得到與用戶輸入圖像匹配的人臉動作。