[發(fā)明專利]三維人臉模型的建模方法、人臉跟蹤方法以及設備

有效

• 申請?zhí)枺?/td>: 201210231897.X
• 申請日: 2012-07-05
• 公開（公告）號: CN103530900B
• 公開（公告）日: 2019-03-19
• 發(fā)明（設計）人: 沈曉璐;馮雪濤;張輝;金培亭;金智淵
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/246
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 羅延紅

1.一種三維人臉模型的建模方法，所述三維人臉模型包括三維形狀、外貌參數、表情參數以及頭部姿態(tài)的信息，所述建模方法包括以下步驟：

將一個預設的標準三維人臉模型作為工作模型，并且將指定起始幀設為第一幀，執(zhí)行如下操作：

a)基于工作模型從連續(xù)輸入的多個視頻幀的指定起始幀開始進行人臉跟蹤，從跟蹤的視頻幀提取人臉特征點、表情參數以及頭部姿態(tài)參數，并且根據預定條件生成與預定數目的視頻幀相應的跟蹤結果，所述跟蹤結果包括跟蹤的各視頻幀以及從跟蹤的各視頻幀提取的人臉特征點、表情參數以及頭部姿態(tài)參數；

b)基于生成的跟蹤結果更新工作模型，其中，如果在更新工作模型時，確定更新的工作模型的外貌參數與更新前的外貌參數之差不小于預定的限值，并且所述預定數目的視頻幀后的視頻幀不是連續(xù)輸入的多個視頻幀中的最后一幀，則將所述預定數目的視頻幀后的第一個視頻幀作為指定起始幀，執(zhí)行步驟a)；

c)輸出工作模型。

2.如權利要求1所述的建模方法，其中，所述三維人臉模型被表示為

其中，S為三維形狀，a為外貌分量，e為表情分量，q為頭部姿態(tài)，T(S,q)表示將三維形狀S根據頭部姿態(tài)q進行旋轉和/或平移的函數。

3.如權利要求2所述的建模方法，其中，所述標準三維人臉模型包括：平均形狀S⁰、外貌分量表情分量以及標準頭部姿態(tài)q⁰，

其中，i＝1:N，表示人臉外貌的一種變化，j＝1:M，表示人臉表情的一種變化。

4.如權利要求3所述的建模方法，還包括：

預先在線下使用一系列三維人臉數據訓練出所述標準三維人臉模型。

5.如權利要求2所述的建模方法，其中，并行地執(zhí)行步驟a)和步驟b)。

6.如權利要求3所述的建模方法，其中，步驟b)中所述基于生成的跟蹤結果，更新工作模型的處理包括：

在生成的跟蹤結果當中，將最接近中性表情的視頻幀選擇為中性表情幀；

根據中性表情幀中的人臉特征點從中性表情幀提取人臉剪影；

基于中性表情幀中的特征點和提取的人臉剪影更新工作模型。

7.如權利要求6所述的建模方法，其中，在選擇中性表情幀的處理中，從與預定數目為T的視頻幀相應的跟蹤結果當中，如下選擇中性表情幀：

為每個跟蹤的視頻幀計算表情參數其中，K為表情參數的種類數量；

將每種表情參數中出現頻率最高的表情參數值作為中性表情值；

選擇全部K個表情參數與相應的中性表情值的偏差均小于預定的每個門限值的視頻幀作為中性表情幀。

8.如權利要求7所述的建模方法，其中，使用主動輪廓模型算法從中性表情幀提取人臉剪影。

9.如權利要求8所述的建模方法，其中，所述基于中性表情幀中的特征點和提取的人臉剪影更新工作模型的處理包括：

將工作模型的頭部姿態(tài)q更新為中性表情幀的頭部姿態(tài)；

將工作模型的表情分量e設置為0；

通過將工作模型S(a，e，q)與中性表情幀的特征點位置進行匹配，并且將工作模型S(a，e，q)計算的人臉剪影與從中性表情幀提取的人臉剪影匹配來校正工作模型的外貌分量a。

10.如權利要求2所述的建模方法，其中，使用多個建模單元交替地進行不同迭代的步驟b)的處理，并且將不同迭代的處理進行融合。

11.如權利要求1所述的建模方法，其中，在步驟a)中，還通過輸入/輸出接口輸出生成的跟蹤結果。

12.如權利要求1所述的建模方法，其中，在步驟b)，當完成工作模型的更新時，還通過輸入/輸出接口輸出更新的工作模型。