[發(fā)明專利]基于VR虛擬辦公的手勢(shì)識(shí)別系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010724227.6
• 申請(qǐng)日: 2020-07-24
• 公開（公告）號(hào): CN112083801A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 吳濤
• 申請(qǐng)（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/32
• 代理公司: 北京鴻元知識(shí)產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;董永輝

本發(fā)明提供一種基于VR虛擬辦公的手勢(shì)識(shí)別系統(tǒng)及方法，包括相機(jī)，設(shè)置在用戶操作區(qū)域的上方，按幀采集用戶操作區(qū)域的深度圖像和紅外圖像；模型構(gòu)建部，構(gòu)建手檢測(cè)模型和手骨骼點(diǎn)識(shí)別模型；在線檢測(cè)跟蹤部，將相機(jī)采集的圖像輸入手檢測(cè)模型和手骨骼點(diǎn)識(shí)別模型，獲得相機(jī)坐標(biāo)下手的多個(gè)骨骼點(diǎn)的坐標(biāo)；第一標(biāo)定部，將骨骼點(diǎn)識(shí)別模塊的相機(jī)坐標(biāo)系下手的骨骼點(diǎn)轉(zhuǎn)到頭盔顯示器坐標(biāo)下手的骨骼點(diǎn)；渲染部，在頭盔顯示器的虛擬場(chǎng)景下渲染當(dāng)前幀對(duì)應(yīng)的手的三維模型。所述手勢(shì)識(shí)別系統(tǒng)及方法高精度，高穩(wěn)定性還原手在虛擬場(chǎng)景中的姿態(tài)位置信息。

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，更為具體地，涉及一種基于VR虛擬辦公的手勢(shì)識(shí)別系統(tǒng)及方法。

背景技術(shù)

眾所周知，為了增強(qiáng)VR/AR虛實(shí)結(jié)合的沉浸感，使VR/AR用戶有更好的體驗(yàn)，人機(jī)交互模塊必不可少，特別是手的姿態(tài)在VR/AR場(chǎng)景中的高精度實(shí)時(shí)還原是非常影響用戶在VR/AR場(chǎng)景中的體驗(yàn)沉浸感。手勢(shì)識(shí)別在VR/AR領(lǐng)域非常關(guān)鍵，特別是在VR虛擬辦公領(lǐng)域，對(duì)精度、延時(shí)和環(huán)境的兼容穩(wěn)定性要求比較高。

目前的手勢(shì)識(shí)別，大都停留在一些簡(jiǎn)單常規(guī)的手勢(shì)操作上面，比如點(diǎn)擊一些菜單或者按鈕，或者對(duì)一些圖片做一些簡(jiǎn)單的操作比如放大，縮小處理等，但是在虛擬辦公環(huán)境下，手勢(shì)識(shí)別精度和穩(wěn)定性不能符合用戶實(shí)際操作的要求，當(dāng)用戶在通過VR設(shè)備進(jìn)行虛擬辦公的時(shí)候，用戶一般非常希望自己的雙手能在虛擬場(chǎng)景下靈活自如出現(xiàn)，類似在現(xiàn)實(shí)環(huán)鏡真手操作一樣。

目前解決該問題的方式有兩種，一種是通過外部相機(jī)實(shí)時(shí)捕捉手的信息，通過計(jì)算機(jī)視覺算法實(shí)時(shí)還原手在虛擬場(chǎng)景的姿態(tài)位置信息；另外一種就是通過在用戶手上佩戴傳感器手套，通過傳感器實(shí)時(shí)捕獲用戶手在虛擬場(chǎng)景的姿態(tài)位置信息，一般使用的傳感器是9軸慣性測(cè)量單元(IMU)，但是需要用戶實(shí)時(shí)佩戴這種傳感器手套，用戶體驗(yàn)不太友好，在一般的場(chǎng)景下，這種方式不太能接受。

目前，大都采用第一種方式實(shí)現(xiàn)即計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)該功能，由于對(duì)用戶的使用體驗(yàn)沒有太多限制，用戶體驗(yàn)比較友好。比如美國(guó)手勢(shì)識(shí)別公司LeapMotion，但是在虛擬辦公場(chǎng)景下，由于鍵盤，桌面等環(huán)境因素的影響，手的還原精度不太理想，滿足不了該環(huán)境下的需求，這樣會(huì)大大降低用戶在VR虛擬辦公體驗(yàn)經(jīng)歷。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明的目的是提供一種高精度，高穩(wěn)定性還原手在虛擬場(chǎng)景中的姿態(tài)位置信息的基于VR虛擬辦公的手勢(shì)識(shí)別系統(tǒng)及方法。

根據(jù)本發(fā)明的一個(gè)方面，提供一種基于VR虛擬辦公的手勢(shì)識(shí)別系統(tǒng)，用于將人在辦公終端的用戶操作區(qū)域的手顯示在頭盔顯示器上，包括：

相機(jī)，設(shè)置在用戶操作區(qū)域的上方，按幀采集用戶操作區(qū)域的深度圖像和紅外圖像；

模型構(gòu)建部，構(gòu)建手檢測(cè)模型和手骨骼點(diǎn)識(shí)別模型，所述手檢測(cè)模型的輸入為所述紅外圖像，輸出為是否有手及手的ROI區(qū)域，所述手骨骼點(diǎn)識(shí)別模型的輸入是所述手的ROI區(qū)域的深度圖像，輸出是多個(gè)骨骼點(diǎn)的坐標(biāo)；

在線檢測(cè)跟蹤部，包括：檢測(cè)模塊，將相機(jī)采集的紅外圖像輸入手檢測(cè)模型，判斷是否檢測(cè)到手及檢測(cè)到手的個(gè)數(shù)；初始幀獲得模塊，將檢測(cè)到手的個(gè)數(shù)為2的幀作為初始幀，發(fā)送信號(hào)給檢測(cè)模塊，檢測(cè)模塊收到初始幀獲得模塊的信號(hào)，停止檢測(cè)，將初始幀上手的ROI區(qū)域發(fā)送給追蹤模塊；追蹤模塊根據(jù)初始幀上手的ROI區(qū)域估計(jì)初始幀的下一幀上手的ROI區(qū)域或根據(jù)一個(gè)幀的上一幀估計(jì)的手的ROI區(qū)域估計(jì)所述一個(gè)幀的手的ROI區(qū)域；第一判斷模塊，判斷當(dāng)前幀是否是初始幀，如果是初始幀，發(fā)送信號(hào)給檢測(cè)模塊，檢測(cè)模塊將手檢測(cè)模型輸出的當(dāng)前幀的手的ROI區(qū)域發(fā)送給骨骼點(diǎn)識(shí)別模塊，如果不是初始幀，發(fā)送信號(hào)給追蹤模塊，追蹤模塊將估計(jì)的當(dāng)前幀的手的ROI區(qū)域發(fā)送給骨骼點(diǎn)識(shí)別模塊；骨骼點(diǎn)識(shí)別模塊將當(dāng)前幀的手的ROI區(qū)域?qū)?yīng)的深度圖像輸入骨骼點(diǎn)識(shí)別模型，獲得多個(gè)骨骼點(diǎn)的坐標(biāo)；

第一標(biāo)定部，將骨骼點(diǎn)識(shí)別模塊的相機(jī)坐標(biāo)系下手的骨骼點(diǎn)轉(zhuǎn)到頭盔顯示器坐標(biāo)下手的骨骼點(diǎn)；