[發(fā)明專利]基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)方法

有效

• 申請?zhí)枺?/td>: 201310086776.5
• 申請日: 2013-03-19
• 公開（公告）號: CN103198330A
• 公開（公告）日: 2013-07-10
• 發(fā)明（設(shè)計(jì)）人: 姚莉;肖陽
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06K9/66
• 分類號: G06K9/66
• 代理公司: 蘇州廣正知識產(chǎn)權(quán)代理有限公司 32234
• 代理人: 劉述生

技術(shù)領(lǐng)域

本發(fā)明涉及了一種識別方法，特別是涉及了一種基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)方法。?

背景技術(shù)

目前用戶與計(jì)算機(jī)的交互方式主要通過鍵盤、鼠標(biāo)和觸摸屏，這種交互方式都要借助于特定的硬件輸入設(shè)備。自然人機(jī)交互方式成為目前研究的重點(diǎn)，例如：人體姿態(tài)、人臉姿態(tài)、人臉表情分析等。另外，在人臉識別中，人臉姿態(tài)估計(jì)也有著很重要的應(yīng)用。通過人臉姿態(tài)估計(jì)后，可以在識別之前根據(jù)人臉姿態(tài)先對照片做變形處理，然后再進(jìn)行識別，可大大提高人臉識別的準(zhǔn)確率。?

現(xiàn)有的人臉姿態(tài)估計(jì)方法都是基于二維圖像和視頻的，此類方法還存在如下的問題：?

1)?采集數(shù)據(jù)易受到噪聲干擾。傳統(tǒng)的二維圖像和視頻易受到光照影響，光照會完全改變圖片中某些區(qū)域的灰度值和紋理信息，使得訓(xùn)練階段樣本集不可能照顧到所有可能的情況，從而在泛化階段準(zhǔn)確率直線下降。

2)?特征缺失條件下準(zhǔn)確率下降嚴(yán)重。這類方法通過某個(gè)臉部特征（鼻子、眼睛等）去估計(jì)臉部姿態(tài)。該類方法首先將需要的特征從整個(gè)人臉中提取出來，然后根據(jù)該特征的幾何形狀去判斷實(shí)際臉部姿態(tài)。但是，在該特征無法辨認(rèn)或遮擋的情況下，該類方法就無法判斷人臉姿態(tài)或給出一個(gè)及其不準(zhǔn)確的結(jié)果。?

3)?系統(tǒng)運(yùn)行過程中需要人工干預(yù)。這類方法將物體跟蹤的思想應(yīng)用于人臉姿態(tài)估計(jì)。該類方法需要在系統(tǒng)開始運(yùn)行時(shí)初始化人臉位置，并且，當(dāng)人臉快速移動或遇到遮擋物時(shí)容易丟失目標(biāo)。?

近年來，隨著深度視頻流采集設(shè)備（例如微軟的kinect、愛動體感設(shè)備、CyWee、綠動體感運(yùn)動機(jī)iSec等?）逐步進(jìn)入普通消費(fèi)群體，深度視頻流所提供的時(shí)間軸上的三維景深數(shù)據(jù)為人臉姿態(tài)估計(jì)提供了新的參考信息，同時(shí)也為新方法的提供了基礎(chǔ)。?

發(fā)明內(nèi)容

本發(fā)明主要是針對現(xiàn)在市場的要求，提供了一種具有及時(shí)性高、準(zhǔn)確性強(qiáng)的基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)方法。?

為了實(shí)現(xiàn)上述目的，本發(fā)明提供以下技術(shù)方案：?

本發(fā)明提供了一種基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)方法，其步驟包括：抽樣及訓(xùn)練階段和實(shí)時(shí)估計(jì)階段；在抽樣及訓(xùn)練階段，其步驟包括：獲取頭部各個(gè)角度的人臉景深圖，并標(biāo)注其鼻尖位置和偏轉(zhuǎn)角度；將人臉景深圖轉(zhuǎn)換為人臉積分圖；在人臉積分圖中隨機(jī)抽樣得到訓(xùn)練樣本集；采用監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，得到分類器；在實(shí)時(shí)估計(jì)階段，其步驟包括：實(shí)時(shí)采集得到景深圖視頻流和普通視頻流；獲取景深圖視頻流和普通視頻流的視頻幀中的臉部位置；針對視頻幀中的臉部位置進(jìn)行隨機(jī)取樣得到待分類樣本集；將待分類樣本集中所有樣本輸入分類器，得到姿態(tài)估計(jì)結(jié)果；剔除異常的姿態(tài)估計(jì)結(jié)果；采用加權(quán)平均法處理剩下的姿態(tài)估計(jì)結(jié)果，得到最終姿態(tài)結(jié)果。

在本發(fā)明一個(gè)較佳實(shí)施例中，所述的獲取頭部各個(gè)角度的人臉景深圖的方法具體為利用三維人臉模型重新渲染生成人臉景深圖或利用實(shí)際采集的方式獲取人臉景深圖。?

在本發(fā)明一個(gè)較佳實(shí)施例中，所述在人臉積分圖中隨機(jī)抽樣得到訓(xùn)練樣本集的具體步驟包括：從人臉積分圖中隨機(jī)抽取一定規(guī)格的切片樣本；去除刪除空白區(qū)域過多的切片樣本和深度值過于平緩的切片樣本；在每個(gè)切片樣本上標(biāo)記其中心點(diǎn)與鼻尖位置的偏移量和對應(yīng)的臉部姿態(tài)，得到訓(xùn)練樣本集。?

在本發(fā)明一個(gè)較佳實(shí)施例中，所述的監(jiān)督學(xué)習(xí)方法所采用的學(xué)習(xí)模型包括隨機(jī)森林、決策樹、神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)。?

在本發(fā)明一個(gè)較佳實(shí)施例中，所述的獲取景深圖視頻流和普通視頻流的視頻幀中的臉部位置的具體步驟包括：利用景深圖視頻流中的深度信息過濾背景；利用普通視頻流的圖像幀中的膚色和紋理信息找到臉部位置。?

在本發(fā)明一個(gè)較佳實(shí)施例中，所述的針對視頻幀中的臉部位置進(jìn)行隨機(jī)取樣得到待分類樣本集的具體步驟包括：在視頻幀中的臉部位置上抽取一定規(guī)格的切片樣本；拋棄空白區(qū)域過多的切片樣本和深度值過于平緩的的切片樣本；利用切片樣本得到待分類樣本集。?

在本發(fā)明一個(gè)較佳實(shí)施例中，所述的剔除異常的姿態(tài)估計(jì)結(jié)果具體步驟包括：采用均值漂移算法找到最密集的姿態(tài)估計(jì)結(jié)果的中心；拋棄離最密集的姿態(tài)估計(jì)結(jié)果的中心相差較遠(yuǎn)的結(jié)果。?

本發(fā)明的有益效果是：本發(fā)明所述的基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)?

方法，這種景深數(shù)據(jù)較二維照片而言，不受光照等噪聲的影響，增加了估計(jì)結(jié)果的準(zhǔn)確性，并使得實(shí)時(shí)姿態(tài)估計(jì)成為可能；本發(fā)明采不會出現(xiàn)丟失目標(biāo)的情況，本發(fā)明可以作為自然人機(jī)交互的有效途徑，還可以為人臉相關(guān)的模式識別問題提供預(yù)處理。?

附圖說明

圖1是本發(fā)明基于深度視頻流的實(shí)時(shí)人臉姿態(tài)估計(jì)方法一較佳實(shí)施例的流程示意圖；?