[發明專利]用于跟蹤人臉的設備和方法

有效

• 申請號: 201310499586.6
• 申請日: 2013-10-22
• 公開（公告）號: CN104573614B
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 馮雪濤;沈曉璐;張輝;金亭培;金智淵
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 11286 北京銘碩知識產權代理有限公司
• 代理人: 張云珠;邱玲

提供一種用于跟蹤人臉的設備和方法，所述設備包括：人臉位置確定單元，用于從當前幀圖像確定人臉位置；分割單元，用于將人臉位置的圖像分割成組成人臉的各部分圖像；遮擋估計單元，用于基于遮擋概率模型來估計分割后的各部分圖像被遮擋的概率，并基于所述各部分圖像被遮擋的概率來估計人臉位置的圖像中每個像素被遮擋的概率；關鍵點獲取單元，用于通過最小化與每個像素被遮擋的概率有關的匹配誤差函數，使人臉的二維形狀模型相對于人臉形狀進行匹配，從而獲取當前幀圖像上人臉關鍵點的位置，以完成對人臉的跟蹤。

技術領域

本發明涉及針對人臉以及人臉上關鍵點進行跟蹤的設備和方法。

背景技術

對圖像或視頻中的人臉以及人臉上關鍵點的位置進行跟蹤，在很多以人臉圖像或視頻作為輸入的應用中具有十分重要的作用，這里，所述關鍵點可以是諸如眼睛、鼻子、眉毛、嘴等處于人臉關鍵位置的點。例如，在基于視頻的人臉識別系統中，需要使用每幀圖像上的人臉關鍵點位置對待匹配的人臉圖像進行幾何歸一化。在面部動作和表情捕捉系統中，需要根據人臉關鍵點的位置分析面部器官的形狀和運動。在一些三維人臉建模系統中，也需要根據人臉關鍵點的位置信息對不同姿態的人臉圖像進行配準和融合。

對于一般物體的跟蹤，常常使用基于特征點或特征區域匹配的技術。首先，從當前幀圖像中選擇或者檢測到若干特征點或者特征區域，記錄特征點周圍或者特征區域內的像素顏色值，對這些像素顏色值進行變換來得到用于表示特征點或特征區域的特征向量。然后，從下一幀圖像中以同樣的方法選擇或者檢測特征點或者特征區域并計算特征向量。最后，根據特征向量間的相似性對來自兩幀圖像的特征點或者特征區域進行匹配，從而估計出物體在視頻中的運動。或者，在對當前幀中的特征點或特征區域提取特征向量之后，直接在下一幀圖像的感興趣區域內搜索具有最相似特征向量的特征點或特征區域，從而實現運動跟蹤。或者，用于表示特征點或特征區域的特征向量不是從當前幀圖像中獲得，而是從手工標定的樣本圖像中獲得。

人臉關鍵點跟蹤與一般物體跟蹤存在兩點明顯的區別。第一，人臉是一個非剛性物體，除了具有在空間中運動時產生的平移、旋轉等六個自由度外，還會由于表情的變化產生各種復雜的變形。第二，人臉具有相似性，也就是說，所有自動人臉跟蹤系統所需要處理的人臉對象都具有相似但不完全一樣的形狀和紋理。基于以上兩點，大部分人臉跟蹤系統都會使用可以描述人臉相似性，同時可以適應不同人臉個性的模型，這些模型可以表示為一組感興趣的關鍵點。例如，在基于主動表觀模型的跟蹤方法中，需要對人臉的形狀和面部紋理建立參數模型，人臉形狀用一系列關鍵點的坐標組成的向量表示，面部紋理用將模型覆蓋的人臉像素映射到平均形狀模版后的紋理向量表示。當設置不同的參數時，可以產生不同的人臉形狀和面部紋理。通過改變參數，使得產生的人臉形狀和紋理與輸入的當前幀圖像中人臉形狀和紋理相同，就可以得到當前幀圖像中人臉和人臉上關鍵點的坐標。

人臉跟蹤技術需要處理很多方面的困難。例如，當被跟蹤的人臉發生劇烈的運動或姿態變化時，相鄰兩幀圖像中的人臉距離較遠或存在較大的外觀差異，這時有些方法會跟蹤失敗。當人臉處于強烈的非均勻光照環境中時，由于陰影的存在，隨著姿態、表情的變化，不同幀圖像上人臉區域的外觀會產生巨大的變化，從而導致跟蹤失敗。

而且，人臉區域上經常存在遮擋，例如墨鏡、頭發、口罩等，這會給跟蹤帶來困難。尤其當遮擋面積較大，以及遮擋的位置隨時間會發生變化時，現有的技術難以提供穩定可靠的跟蹤結果。通常，在現有技術中，為了解決遮擋條件下的跟蹤問題，需要首先根據不同幀圖像之間的差別，或者根據人臉模型給出的人臉外觀與實際圖像中人臉區域外觀的差別，估計出可能的遮擋發生的區域，然后將這些遮擋區域排除在跟蹤時使用的特征區域范圍之外。然而，如何準確地估計出遮擋區域，從而使人臉跟蹤得以準確進行，仍然是一個難以解決的問題。

發明內容

本發明的目的在于提供一種能夠在人臉存在遮擋的情況下有效地進行人臉跟蹤的設備和方法。