[發明專利]一種人臉跟蹤方法及裝置

有效

• 申請號: 201810021959.1
• 申請日: 2018-01-10
• 公開（公告）號: CN108268840B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 王斌;王剛
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T5/00;G06T5/50;G06T7/246
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種人臉跟蹤方法，其特征在于，所述方法包括：

根據上一幀人臉圖像獲得的預測形狀作為當前幀人臉圖像的初始形狀；

對所述初始形狀進行降噪處理；

將降噪后所述初始形狀在融合形狀約束下進行級聯回歸預測，獲得當前幀的最終預測形狀；

其中，所述對所述初始形狀進行降噪處理，具體包括：

對訓練集中多個訓練人臉圖像的真實形狀進行歸一化；

將歸一化后的所述訓練人臉圖像對應的樣本形狀進行PCA降維，得到n個主形狀；

根據n個所述主形狀對所述初始形狀進行形狀重構，獲得降噪后的所述初始形狀。

2.如權利要求1所述的人臉跟蹤方法，其特征在于，所述對訓練集中多個訓練人臉圖像的真實形狀進行歸一化，具體包括：

將訓練集中的任一所述訓練人臉圖像對應的所述真實形狀作為預設基準形狀，將所有剩下的所述訓練人臉圖像對應的所述真實形狀對齊到該所述預設基準形狀；

計算對齊到所述預設基準形狀后的所有所述訓練人臉圖像對應的所述真實形狀的平均形狀，并將其作為基準形狀；

將所有所述訓練人臉圖像對應的所述真實形狀對齊到該所述基準形狀；

至少重復一次計算對齊到所述基準形狀后的所有所述真實形狀的平均形狀，并每一次相應將所有所述真實形狀對齊到重新確定的平均形狀，直到終止條件。

3.如權利要求1所述的人臉跟蹤方法，其特征在于，所述將降噪后所述初始形狀在融合形狀約束下進行級聯回歸預測，獲得當前幀的最終預測形狀，具體包括：

將降噪后的所述初始形狀根據關鍵點的關聯性劃分為多個組；

在每一迭代回歸預測階段，分別計算每一組的形狀增量；

將每一組的所述形狀增量進行融合，得到當前階段的最終形狀增量；

根據當前階段的所述最終形狀增量，更新當前階段的形狀并作為下一階段的起始形狀。

4.如權利要求3所述的人臉跟蹤方法，其特征在于，所述計算每一組的形狀增量，具體包括：

通過下式計算每一組的形狀增量，

其中groupi表示第i個分組的形狀約束，W_groupi為在gourpi上提取到的特征，I為人臉圖像，S_groupi為當前階段的人臉形狀，ΔS_groupi為groupi得到的形狀增量。

5.如權利要求4所述的人臉跟蹤方法，其特征在于，所述將每一組的所述形狀增量進行融合，得到當前階段的最終形狀增量，具體包括：

計算所有所述分組的所述形狀增量的平均值，并將該所述平均值作為當前階段的最終形狀增量；或者，通過對各個所述分組的所述形狀增量與形狀殘差的相似性進行加權，得到當前階段的最終形狀增量，其中，所述形狀殘差為該所述分組的當前形狀與該所述分組的真實形狀的差。

6.一種人臉跟蹤裝置，其特征在于，所述裝置包括：

初始形狀確定模塊，用于根據上一幀人臉圖像獲得的預測形狀作為當前幀人臉圖像的初始形狀；

降噪模塊，用于對所述初始形狀進行降噪處理；

預測形狀確定模塊，用于將降噪后所述初始形狀在融合形狀約束下進行級聯回歸預測，獲得當前幀的最終預測形狀；

其中，所述降噪模塊，具體包括：

歸一化模塊，用于對訓練集中多個訓練人臉圖像的真實形狀進行歸一化；

降維模塊，用于將歸一化后的所述訓練人臉圖像對應的樣本形狀進行PCA降維，得到n個主形狀；

重構模塊，用于根據n個所述主形狀對所述初始形狀進行形狀重構，獲得降噪后的所述初始形狀。