[發(fā)明專利]基于實(shí)時深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201510501847.2
• 申請日: 2015-08-14
• 公開（公告）號: CN105107200B
• 公開（公告）日: 2018-09-25
• 發(fā)明（設(shè)計(jì)）人: 陳東義
• 申請（專利權(quán)）人: 濟(jì)南中景電子科技有限公司
• 主分類號: A63F13/213
• 分類號: A63F13/213;A63F13/52;A63F13/55
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

1.一種基于實(shí)時深度體感交互與增強(qiáng)現(xiàn)實(shí)技術(shù)的變臉系統(tǒng)，可疊加川劇臉譜，其特征在于：

所述系統(tǒng)包括Kinect深度傳感器，人體骨骼點(diǎn)識別模塊，川劇臉譜疊加模塊，變臉觸發(fā)模塊和人體運(yùn)動信息跟蹤識別模塊；

所述Kinect深度傳感器與PC機(jī)相連，擺放在PC機(jī)顯示器的頂部，所述人體骨骼點(diǎn)識別模塊接收由Kinect深度傳感器采集到的深度信息數(shù)據(jù)并分析出人體骨骼點(diǎn)的信息，所述川劇臉譜疊加模塊利用人體骨骼點(diǎn)信息將川劇臉譜疊加在用戶臉部骨骼坐標(biāo)上，所述變臉觸發(fā)模塊根據(jù)骨骼點(diǎn)信息與臉譜的位置信息進(jìn)行綜合判定，判斷是否需要觸發(fā)臉譜的變換，所述人體運(yùn)動信息跟蹤識別模塊，實(shí)時跟蹤人體骨骼點(diǎn)的運(yùn)動狀態(tài)，識別具體動作。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述川劇臉譜疊加模塊包括面部位置跟蹤模塊和面部方位跟蹤模塊；其中，

所述面部位置跟蹤模塊由所述人體骨骼點(diǎn)坐標(biāo)識別模塊輸出的臉部骨骼坐標(biāo)位置提供；

所述面部方位跟蹤模塊由所述kinect深度傳感器提供彩色圖像，根據(jù)彩色圖像結(jié)合opencv_haar人臉識別算法識別正面人臉，側(cè)面人臉，底部和頂部位置信息。

3.如權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述變臉觸發(fā)模塊包括用手變臉，用腳變臉，搖頭變臉，搶臉，摘臉觸發(fā)模塊。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于：

所述用手變臉觸發(fā)模塊根據(jù)人體頭部骨骼點(diǎn)坐標(biāo)和手部骨骼點(diǎn)坐標(biāo)進(jìn)行距離計(jì)算，當(dāng)距離小于設(shè)定的閾值時觸發(fā)變臉。

5.如權(quán)利要求3的系統(tǒng)，其特征在于：

所述用腳變臉觸發(fā)模塊根據(jù)人體頭部骨骼點(diǎn)坐標(biāo)和腳步骨骼點(diǎn)坐標(biāo)進(jìn)行距離計(jì)算，當(dāng)距離小于設(shè)定的閾值時觸發(fā)變臉。

6.如權(quán)利要求3所述的系統(tǒng)，其特征在于：

所述搖頭變臉觸發(fā)模塊根據(jù)權(quán)利要求2所述的面部方位模塊判斷人臉的方向狀態(tài)，當(dāng)人臉的方向變化大于兩個時間度時觸發(fā)變臉。

7.如權(quán)利要求3所述的系統(tǒng)，其特征在于：

所述摘臉觸發(fā)模塊，川劇臉譜分別排列在視頻窗口的兩側(cè)，兩邊分別擺放六個川劇臉譜，每個川劇臉譜以重心為參考點(diǎn)與用戶手部坐標(biāo)計(jì)算，當(dāng)距離小于設(shè)定的閾值時判斷手部抓取到了臉譜，臉譜隨著手部坐標(biāo)移動，當(dāng)手部移動到與臉部骨骼坐標(biāo)小于設(shè)定的閾值時，臉譜跟蹤臉部骨骼移動。

8.如權(quán)利要求3所述的系統(tǒng)，其特征在于：

所述搶臉模塊，當(dāng)?shù)谝挥脩羰植抗趋雷鴺?biāo)與第二用戶的臉部骨骼坐標(biāo)的距離小于設(shè)定的閾值時，第二用戶的臉譜跟蹤第一用戶的手部骨骼移動。

9.如權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述人體運(yùn)動信息跟蹤識別模塊包括動作訓(xùn)練模塊，動作識別模塊；其中，

所述動作訓(xùn)練模塊，錄制所要識別的動作，根據(jù)人體骨骼點(diǎn)與時間的轉(zhuǎn)系轉(zhuǎn)換成距離特征信息，按照距離和時間關(guān)系進(jìn)行二維數(shù)據(jù)存儲；

所述動作識別模塊，實(shí)時計(jì)算當(dāng)前人體骨骼點(diǎn)的距離特征信息與動作訓(xùn)練模塊存儲的二維數(shù)據(jù)相比較，當(dāng)重合度大于80％時確定動作與訓(xùn)練動作一致。

10.如權(quán)利要求1-9中任一所述的系統(tǒng)，其特征在于：

所述變臉觸發(fā)模塊的變臉觸發(fā)方式分為基于位置的觸發(fā)變臉和基于全身動作的觸發(fā)變臉。