[發(fā)明專利]基于Kinect的人臉視頻目光修正方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510386743.1
• 申請(qǐng)日: 2015-06-30
• 公開（公告）號(hào): CN104992417B
• 公開（公告）日: 2017-12-19
• 發(fā)明（設(shè)計(jì)）人: 盛斌;張雨;申瑞民
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 上海交達(dá)專利事務(wù)所31201
• 代理人: 王毓理,王錫麟

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種視頻圖像處理領(lǐng)域的技術(shù)，具體是一種基于Kinect的人臉視頻目光修正方法及系統(tǒng)。

背景技術(shù)

失去在視頻會(huì)議目光接觸是常見的問題，它使溝通不自然的和低效。其原因是攝像頭和屏幕之間的差距：用戶通常是看另一個(gè)在屏幕上的形象，然而，只有用戶看攝像頭時(shí)才會(huì)有眼神交互。目光校正的目的是用戶自然地看著屏幕的同時(shí)與對(duì)方實(shí)現(xiàn)眼神接觸。

有很多試圖消除屏幕和相機(jī)之間的差距的嘗試，后來(lái)的一些研究集中在如何獲得場(chǎng)景的幾何結(jié)構(gòu)并從新的角度來(lái)生成的圖像，一般是使用相機(jī)陣列和立體分析或深度相機(jī)或混合。一個(gè)常見的問題是，他們不能保證背景的完整。除此之外，它也不便宜，校準(zhǔn)是復(fù)雜的。Kuster等人在"Gazecorrectionforhomevideoconferencing(家用視頻會(huì)議視線校準(zhǔn)方法)"ACMTransactionsonGraphics(TOG)31.6(2012)：174.中提出了一種矯正方法，只需要替換的場(chǎng)景圖像的糾正，在2012年舉行的SIGGRAPHAsia，此方法取得了巨大的成功。但該技術(shù)尚無(wú)法解決如：眼鏡問題，遮擋問題等。

Kinect是微軟公司研制的一款體感外設(shè)，實(shí)際上是一種3D體感攝影機(jī)。該設(shè)備共有3個(gè)攝像頭，中間是RGB彩色攝像頭，左右兩邊分別為紅外投影機(jī)(紅外線發(fā)射器)和紅外攝像頭(CMOS紅外感應(yīng)設(shè)備)，用于深度探測(cè)。Kinect搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體移動(dòng)而轉(zhuǎn)動(dòng)。同時(shí)Kinect還內(nèi)置麥克風(fēng)陣列，用于語(yǔ)音識(shí)別。另外，Kinect作為一款體感設(shè)備價(jià)格低廉，但目前暫無(wú)將上述兩種技術(shù)有機(jī)結(jié)合的先例。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提出一種基于Kinect的人臉視頻目光修正方法及系統(tǒng)，針對(duì)用戶不同的狀態(tài)，用新的橢圓擬合方法捕捉用戶的臉部輪廓，并有效解決針對(duì)眼睛重建、旋轉(zhuǎn)、背景混合(前景過(guò)濾)、深度不連續(xù)區(qū)域的不真實(shí)等問題，并最終將處理后的臉部重新融合到原背景中，得到一個(gè)用戶正視攝像頭的視頻流。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明首先通過(guò)Kinect識(shí)別出視頻流中的人臉部分，根據(jù)當(dāng)前人臉的不同狀態(tài)，通過(guò)橢圓擬合方法捕捉得到臉部輪廓，然后對(duì)人臉位姿進(jìn)行調(diào)整，再對(duì)人臉細(xì)節(jié)進(jìn)行微調(diào)處理，最后將調(diào)整后的人臉與背景融合，得到的視頻流中的人的視線朝向攝像頭，實(shí)現(xiàn)眼神交互的效果。

所述的視頻流來(lái)自于Kinect在線視頻，或者Kinect視頻文件。

所述的當(dāng)前人臉的不同狀態(tài)是指除去用戶的正常姿勢(shì)，在用戶向上或者向下看時(shí)也能夠識(shí)別用戶的整個(gè)臉部輪廓。

所述的橢圓擬合方法是指：根據(jù)臉部特征點(diǎn)估計(jì)自然空間橢圓的中心、長(zhǎng)短軸，并將其映射回圖片空間。

所述的微調(diào)處理包括：眼鏡圖像重建處理、前景過(guò)濾處理、旋轉(zhuǎn)處理以及孔填充處理四種處理。

所述的眼鏡圖像重建處理是指：在大多數(shù)情況下，沒有深度信息的眼鏡就像被粘貼在臉上。缺乏深度信息，旋轉(zhuǎn)后的眼鏡變得扭曲。此外，旋轉(zhuǎn)后，眼鏡架的位置不再匹配原始：如果縫穿過(guò)眼鏡架，眼鏡架部分會(huì)折斷；如果縫從眼鏡架的一端到另一端，眼鏡架部分閃爍。更糟糕的是，眼鏡架周圍的大洞也使眼鏡架閃爍。為解決失真問題，提出了一個(gè)技術(shù)：改造的眼鏡形狀。為了解決眼鏡架問題，額外的規(guī)則在縫優(yōu)化和孔填充應(yīng)用于避免眼鏡腿的裂紋和閃爍。

所述的旋轉(zhuǎn)處理是指：由于人臉朝下旋轉(zhuǎn)，使下巴比實(shí)際看上去要小，特別是當(dāng)用戶向下看，隨著項(xiàng)目的長(zhǎng)度變短，到攝像頭的距離變長(zhǎng)，而且它將雙下巴問題即新的下巴與原始下巴融合，但沒有覆蓋原來(lái)的一個(gè)。旋轉(zhuǎn)處理通過(guò)提出修正角的處理，不需要固定在校準(zhǔn)角度的方案，并在此基礎(chǔ)上，解決了雙下巴的問題。現(xiàn)在，調(diào)整角度成為當(dāng)前角度的函數(shù)，在用戶向下看時(shí)它將順利減少修正角，并保持修正角幾乎校準(zhǔn)的角度，而用戶看屏幕。用戶向上看的情況擴(kuò)展版的自適應(yīng)修正角也會(huì)減少修正角，從而改善了當(dāng)用戶臉部過(guò)高的輸出。

所述的前景過(guò)濾處理是指：只需要新圖形的臉部部分，過(guò)濾背景會(huì)加快很多其他進(jìn)程，例如，孔填充。根據(jù)背景技術(shù)中的記載，Kuster等人使用一個(gè)簡(jiǎn)單的閾值過(guò)濾背景，深度是不夠精確的過(guò)濾所有的背景。使用臉平面作為參考來(lái)過(guò)濾背景，消除所有臉平面以外的點(diǎn)。它可以徹底地去除背景，同時(shí)，它還可以去除不可靠的深度點(diǎn)不連續(xù)區(qū)域，為孔填充提供方便。同樣以此技術(shù)，避免對(duì)象遮擋旋轉(zhuǎn)后的臉部，解決了最遮擋的問題。