[發(fā)明專利]用于跟蹤人臉的設(shè)備和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310499586.6
• 申請(qǐng)日: 2013-10-22
• 公開(kāi)（公告）號(hào): CN104573614B
• 公開(kāi)（公告）日: 2020-01-03
• 發(fā)明（設(shè)計(jì)）人: 馮雪濤;沈曉璐;張輝;金亭培;金智淵
• 申請(qǐng)（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會(huì)社
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 11286 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 張?jiān)浦?邱玲

1.一種用于跟蹤人臉的設(shè)備，包括：

人臉位置確定單元，用于從當(dāng)前幀圖像確定人臉位置；

分割單元，用于將人臉位置的圖像分割成組成人臉的各部分圖像；

遮擋估計(jì)單元，用于基于遮擋概率模型來(lái)估計(jì)分割后的各部分圖像被遮擋的概率，并基于所述各部分圖像被遮擋的概率來(lái)估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率；

關(guān)鍵點(diǎn)獲取單元，用于通過(guò)最小化與每個(gè)像素被遮擋的概率有關(guān)的匹配誤差函數(shù)，使人臉的二維形狀模型相對(duì)于人臉形狀進(jìn)行匹配，從而獲取當(dāng)前幀圖像上人臉關(guān)鍵點(diǎn)的位置，以完成對(duì)人臉的跟蹤，

其中，在所述匹配誤差函數(shù)中，基于每個(gè)像素被遮擋的概率來(lái)調(diào)整人臉表觀模型與人臉形狀無(wú)關(guān)紋理圖像的表觀向量之間的差異。

2.如權(quán)利要求1所述的設(shè)備，還包括：

跟蹤效果確定器，用于利用分類器來(lái)確定對(duì)人臉的跟蹤是否成功。

3.如權(quán)利要求1或2所述的設(shè)備，其中，分割單元使用基于顏色和位置坐標(biāo)的像素聚類算法將人臉位置的圖像分割成至少一個(gè)圖像片，并且，遮擋估計(jì)單元基于圖像片遮擋概率模型來(lái)估計(jì)每個(gè)圖像片被遮擋的概率，并基于每個(gè)圖像片被遮擋的概率來(lái)估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率。

4.如權(quán)利要求1或2所述的設(shè)備，其中，分割單元將人臉位置的圖像分割成與各個(gè)人臉器官對(duì)應(yīng)的至少一個(gè)圖像區(qū)域，并且，遮擋估計(jì)單元基于圖像區(qū)域遮擋概率模型來(lái)估計(jì)每個(gè)圖像區(qū)域被遮擋的概率，并基于每個(gè)圖像區(qū)域被遮擋的概率來(lái)估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率。

5.如權(quán)利要求1所述的設(shè)備，其中，分割單元將人臉位置的圖像分割成至少一個(gè)圖像片和至少一個(gè)圖像區(qū)域，并且，遮擋估計(jì)單元基于遮擋概率模型來(lái)分別估計(jì)每個(gè)圖像片和每個(gè)圖像區(qū)域被遮擋的概率，并基于每個(gè)圖像片和每個(gè)圖像區(qū)域被遮擋的概率，估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率。

6.如權(quán)利要求5所述的設(shè)備，其中，分割單元使用基于顏色和位置坐標(biāo)的像素聚類算法將人臉位置的圖像分割成至少一個(gè)圖像片，并按照預(yù)先定義的人臉器官，將所述至少一個(gè)圖像片中對(duì)應(yīng)于相同人臉器官的圖像片合并為圖像區(qū)域。

7.如權(quán)利要求1、2或5所述的設(shè)備，其中，人臉位置確定單元在當(dāng)前幀圖像中檢測(cè)人臉特征點(diǎn)，在關(guān)鍵幀數(shù)據(jù)庫(kù)中選擇與人臉特征點(diǎn)在特征向量方面匹配的對(duì)應(yīng)特征點(diǎn)，然后通過(guò)使對(duì)應(yīng)特征點(diǎn)在當(dāng)前幀圖像上的投影與人臉特征點(diǎn)之間的距離度量最小，來(lái)計(jì)算一種人臉三維形狀模型的三維位置和旋轉(zhuǎn)參數(shù)，使用此三維位置和旋轉(zhuǎn)參數(shù)計(jì)算人臉二維形狀模型的關(guān)鍵點(diǎn)在圖像中的位置，從而確定當(dāng)前幀圖像中人臉的位置，

其中，關(guān)鍵幀數(shù)據(jù)庫(kù)包括與之前成功跟蹤到的人臉對(duì)應(yīng)的人臉關(guān)鍵幀，在跟蹤開(kāi)始時(shí)建立，在成功跟蹤每一幀圖像后更新，其中，所述人臉關(guān)鍵幀中保存有所述之前成功跟蹤到的人臉上被成功匹配的特征點(diǎn)的三維位置坐標(biāo)和特征向量。

8.如權(quán)利要求7所述的設(shè)備，其中，人臉位置確定單元基于人臉特征點(diǎn)與計(jì)算出的所述一種人臉三維形狀模型中的對(duì)應(yīng)特征點(diǎn)在當(dāng)前幀圖像上的投影之間的距離是否小于預(yù)定閾值來(lái)確定所述人臉特征點(diǎn)是否為被成功匹配的特征點(diǎn)。

9.如權(quán)利要求5或6所述的設(shè)備，其中，遮擋估計(jì)單元包括：

圖像片遮擋估計(jì)單元，用于基于圖像片遮擋概率模型來(lái)估計(jì)每個(gè)圖像片被遮擋的概率；

圖像區(qū)域遮擋估計(jì)單元，用于基于圖像區(qū)域遮擋概率模型來(lái)估計(jì)每個(gè)圖像區(qū)域被遮擋的概率；

綜合估計(jì)單元，用于基于每個(gè)圖像片和每個(gè)圖像區(qū)域被遮擋的概率，估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率。

10.如權(quán)利要求9所述的設(shè)備，其中，如果跟蹤效果確定器確定對(duì)人臉的跟蹤成功，則圖像片遮擋估計(jì)單元在當(dāng)前幀沒(méi)有被遮擋的情況下利用相應(yīng)的圖像片來(lái)更新圖像片遮擋概率模型，圖像區(qū)域遮擋估計(jì)單元在當(dāng)前幀沒(méi)有被遮擋的情況下利用相應(yīng)的圖像區(qū)域來(lái)更新圖像區(qū)域遮擋概率模型。