[發明專利]人臉特征點跟蹤方法及裝置

有效

• 申請號: 201710473506.8
• 申請日: 2017-06-21
• 公開（公告）號: CN108304758B
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 林夢然;王新亮;李斌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 朱雅男

1.一種人臉特征點跟蹤方法，其特征在于，所述方法包括：

獲取待跟蹤幀圖像的前一幀圖像中的人臉特征點；

根據預設誤差模型，確定所述待跟蹤幀圖像中用于分割樣本時采用的多個位置，根據確定的各個位置上的像素點和預設閾值，確定所述待跟蹤幀圖像被分割至哪一類樣本，基于所述確定的各個位置上的像素點，選擇所述一類樣本對應的多個重建人臉特征點誤差，將各個初始人臉特征點誤差和選擇的各個重建人臉特征點誤差進行加權，得到所述待跟蹤幀圖像與所述前一幀圖像的人臉特征點誤差，其中，每一類樣本對應各自的重建人臉特征點誤差，所述人臉特征點誤差用于表示所述待跟蹤幀圖像與所述前一幀圖像的人臉特征點之間的差異，所述預設誤差模型根據多對連續幀圖像的人臉特征點訓練得到，用于指示圖像中像素點與人臉特征點誤差之間的關系；

基于所述前一幀圖像的人臉特征點和所述人臉特征點誤差，得到所述待跟蹤幀圖像的人臉特征點。

2.根據權利要求1所述的方法，其特征在于，所述基于所述前一幀圖像的人臉特征點和所述人臉特征點誤差，得到所述待跟蹤幀圖像的人臉特征點，包括：

基于所述人臉特征點誤差，確定所述待跟蹤幀圖像的每個人臉特征點坐標相對所述前一幀圖像在相應位置的人臉特征點坐標的偏移量；

基于至少一個前一幀圖像的人臉特征點坐標與所確定的偏移量，得到所述待跟蹤幀圖像的人臉特征點坐標。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

基于預設閾值和樣本集中每個樣本在第一區域的第一位置上的一對像素點，將所述樣本集分割為多類樣本，所述樣本集中的每個樣本包括時間上具有先后順序的第一圖像的人臉特征點和第二圖像的人臉特征點；

確定每類樣本對應的重建人臉特征點誤差，一個重建人臉特征點誤差用于指示一類樣本中第二圖像的人臉特征點坐標與估計人臉特征點坐標之間的差異，所述估計人臉特征點坐標基于第一圖像的人臉特征點確定；

基于各類樣本對應的重建人臉特征點誤差得到所述預設誤差模型。

4.根據權利要求3所述的方法，其特征在于，所述基于各類樣本對應的重建人臉特征點誤差得到所述預設誤差模型之前，所述方法還包括：

基于第一重建人臉特征點誤差，更新各個第二圖像的估計人臉特征點，所述第一重建人臉特征點誤差是指所述樣本集在所述第一位置上的一對像素點所分割的各類樣本對應的重建人臉特征點誤差；

基于所述預設閾值和每個樣本在所述第一區域的第二位置上的一對像素點，將所述樣本集分割為多類樣本；

確定第二重建人臉特征點誤差，直到確定出基于所述第一區域中各個位置上的像素點所分割的每類樣本對應的重建人臉特征點誤差，所述第二重建人臉特征點誤差是指基于所述第二位置上的一對像素點所分割的每類樣本對應的重建人臉特征點誤差。

5.根據權利要求3所述的方法，其特征在于，所述基于各類樣本對應的重建人臉特征點誤差得到所述預設誤差模型之前，所述方法還包括：

基于所述樣本集在所述第二圖像中除所述第一區域以外的第二區域中像素點，確定所述第二區域對應的多個重建人臉特征點誤差，直到確定出基于所述第二圖像中各個區域中像素點對應的重建人臉特征點誤差。

6.根據權利要求5所述的方法，其特征在于，在確定任一區域對應的多個重建人臉特征點誤差之前，所述方法還包括：

確定所述區域對應的初始人臉特征點誤差，所述初始人臉特征點誤差用于指示所述樣本集中第二圖像的人臉特征點坐標與估計人臉特征點坐標之間的差異；

所述基于各類樣本對應的重建人臉特征點誤差得到所述預設誤差模型，包括：

基于所述初始人臉特征點誤差以及各類樣本對應的重建人臉特征點誤差，得到所述預設誤差模型。