[發(fā)明專(zhuān)利]基于實(shí)時(shí)深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510501847.2
• 申請(qǐng)日: 2015-08-14
• 公開(kāi)（公告）號(hào): CN105107200B
• 公開(kāi)（公告）日: 2018-09-25
• 發(fā)明（設(shè)計(jì)）人: 陳東義
• 申請(qǐng)（專(zhuān)利權(quán)）人: 濟(jì)南中景電子科技有限公司
• 主分類(lèi)號(hào): A63F13/213
• 分類(lèi)號(hào): A63F13/213;A63F13/52;A63F13/55
• 代理公司: 北京市廣友專(zhuān)利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

本發(fā)明建立了一種基于實(shí)時(shí)深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)及方法，以解決普通光學(xué)攝像頭實(shí)現(xiàn)變臉系統(tǒng)人臉識(shí)別率易受光照遮擋等影響且計(jì)算來(lái)那個(gè)較大，用戶體驗(yàn)度不好等方面的不足。本方法利用光學(xué)深度傳感器實(shí)時(shí)采集環(huán)境中的彩色圖像、深度圖像以及人體骨骼點(diǎn)坐標(biāo)圖像，針對(duì)普通攝像頭識(shí)別人臉易受光照遮擋等因素的影響，通過(guò)采用人體骨骼點(diǎn)坐標(biāo)和基于Haar特征的人臉識(shí)別算法對(duì)人臉的三維空間坐標(biāo)和人臉的大小進(jìn)行計(jì)算。在得到人臉坐標(biāo)和人臉大小后利用增強(qiáng)現(xiàn)實(shí)技術(shù)將川劇臉譜疊加在人臉上。本發(fā)明設(shè)計(jì)巧妙，使用方便，很好的解決了使用普通攝像頭實(shí)現(xiàn)變臉的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)，人機(jī)交互等領(lǐng)域。具體涉及一種基于實(shí)時(shí)深度體感傳感器的“川劇變臉”體感交互系統(tǒng)及方法，尤其是一種基于實(shí)時(shí)深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)及方法。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmened Reality,AR)是在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上發(fā)展起來(lái)的新技術(shù)，是通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)真實(shí)世界感知的技術(shù)。近年來(lái)，隨著科學(xué)技術(shù)的發(fā)展，尤其是以Kinect為代表的深度傳感器極大的推動(dòng)了以深度技術(shù)為核心的體感交互技術(shù)，產(chǎn)生了一批將Kinect技術(shù)與AR技術(shù)相結(jié)合的應(yīng)用。傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)技術(shù)主要是利用普通攝像頭采集二維平面圖像，并在二維平面圖像上進(jìn)行信息的疊加。采用普通攝像頭實(shí)現(xiàn)的增強(qiáng)現(xiàn)實(shí)川劇變臉系統(tǒng)只能在二維平面上將川劇臉譜疊加到用戶的臉上，用于人臉的識(shí)別率收到人臉角度的影響較大，并且如果要在二維圖像上實(shí)現(xiàn)體感交互計(jì)算量較大。此外，由于采用普通攝像頭只能采集到二維平面圖像，這種僅僅采用二維平面圖像實(shí)現(xiàn)的川劇變臉系統(tǒng)變臉?lè)绞絾我唬脩趔w驗(yàn)不好。

為解決上述采用普通攝像頭實(shí)現(xiàn)的“川劇變臉”系統(tǒng)中存在的問(wèn)題和不足，提出了基于實(shí)時(shí)深度體感交互的川劇變臉系統(tǒng)及方法。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，提出了一種基于實(shí)時(shí)深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)，該系統(tǒng)不僅僅運(yùn)用到了二維平面彩色圖像，還用到了深度傳感器提供的深度圖像和人體骨骼圖像，該系統(tǒng)相比于普通攝像頭實(shí)現(xiàn)的川劇變臉系統(tǒng)具有更好的實(shí)時(shí)性、新穎性、自然交互等新特點(diǎn)，該系統(tǒng)在實(shí)現(xiàn)傳統(tǒng)“川劇”變臉的基礎(chǔ)上還具有更加豐富的游戲體驗(yàn)，如單人變臉，多人變臉，摘臉，搶臉等等。

具體而言，本發(fā)明提供的一種基于實(shí)時(shí)深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)，可以疊加川劇臉譜，京劇臉譜或動(dòng)物臉譜虛擬面具，其特征在于：所述系統(tǒng)包括Kinect深度傳感器，人體骨骼點(diǎn)識(shí)別模塊，川劇臉譜疊加模塊，變臉觸發(fā)模塊和人體運(yùn)動(dòng)信息跟蹤識(shí)別模塊；所述Kinect深度傳感器與PC機(jī)相連，擺放在PC機(jī)顯示器的頂部，所述人體骨骼點(diǎn)識(shí)別模塊接收由Kinect深度傳感器采集到的深度信息數(shù)據(jù)并分析出人體骨骼點(diǎn)的信息，所述川劇臉譜疊加模塊利用人體骨骼點(diǎn)信息將川劇臉譜疊加在用戶臉部骨骼坐標(biāo)上，所述變臉觸發(fā)模塊根據(jù)骨骼點(diǎn)信息與臉譜的位置信息進(jìn)行綜合判定，判斷是否需要觸發(fā)臉譜的變換，所述人體運(yùn)動(dòng)信息跟蹤識(shí)別模塊，實(shí)時(shí)跟蹤人體骨骼點(diǎn)的運(yùn)動(dòng)狀態(tài)，識(shí)別具體動(dòng)作。

優(yōu)選的，所述川劇臉譜疊加模塊包括面部位置跟蹤模塊和面部方位跟蹤模塊；其中，所述面部位置跟蹤模塊由所述人體骨骼點(diǎn)坐標(biāo)識(shí)別模塊輸出的臉部骨骼坐標(biāo)位置提供；所述面部方位跟蹤模塊由所述kinect深度傳感器提供彩色圖像，根據(jù)彩色圖像結(jié)合opencv_haar人臉識(shí)別算法識(shí)別正面人臉，側(cè)面人臉，底部和頂部等位置信息。

優(yōu)選的，所述變臉觸發(fā)模塊包括用手變臉，用腳變臉，搖頭變臉，搶臉，摘臉觸發(fā)模塊。

優(yōu)選的，所述用手變臉觸發(fā)模塊根據(jù)人體頭部骨骼點(diǎn)坐標(biāo)和手部骨骼點(diǎn)坐標(biāo)進(jìn)行距離計(jì)算，當(dāng)距離小于設(shè)定的閾值時(shí)觸發(fā)變臉。

優(yōu)選的，所述用腳變臉觸發(fā)模塊根據(jù)人體頭部骨骼點(diǎn)坐標(biāo)和腳步骨骼點(diǎn)坐標(biāo)進(jìn)行距離計(jì)算，當(dāng)距離小于設(shè)定的閾值時(shí)觸發(fā)變臉。

優(yōu)選的，所述搖頭變臉觸發(fā)模塊根據(jù)權(quán)利要求2所述的面部方位模塊判斷人臉的方向狀態(tài)，當(dāng)人臉的方向變化大于兩個(gè)時(shí)間度時(shí)觸發(fā)變臉。