[發(fā)明專利]基于VR虛擬辦公的手勢識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010724227.6
• 申請日: 2020-07-24
• 公開（公告）號: CN112083801A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 吳濤
• 申請（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/32
• 代理公司: 北京鴻元知識產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;董永輝

1.一種基于VR虛擬辦公的手勢識別系統(tǒng)，用于將人在辦公終端的用戶操作區(qū)域的手顯示在頭盔顯示器上，其特征在于，包括：

相機(jī)，設(shè)置在用戶操作區(qū)域的上方，按幀采集用戶操作區(qū)域的深度圖像和紅外圖像；

模型構(gòu)建部，構(gòu)建手檢測模型和手骨骼點(diǎn)識別模型，所述手檢測模型的輸入為所述紅外圖像，輸出為是否有手及手的ROI區(qū)域，所述手骨骼點(diǎn)識別模型的輸入是所述手的ROI區(qū)域的深度圖像，輸出是多個骨骼點(diǎn)的坐標(biāo)；

在線檢測跟蹤部，包括：檢測模塊，將相機(jī)采集的紅外圖像輸入手檢測模型，判斷是否檢測到手及檢測到手的個數(shù)；初始幀獲得模塊，將檢測到手的個數(shù)為2的幀作為初始幀，發(fā)送信號給檢測模塊，檢測模塊收到初始幀獲得模塊的信號，停止檢測，將初始幀上手的ROI區(qū)域發(fā)送給追蹤模塊；追蹤模塊根據(jù)初始幀上手的ROI區(qū)域估計初始幀的下一幀上手的ROI區(qū)域或根據(jù)一個幀的上一幀估計的手的ROI區(qū)域估計所述一個幀的手的ROI區(qū)域；第一判斷模塊，判斷當(dāng)前幀是否是初始幀，如果是初始幀，發(fā)送信號給檢測模塊，檢測模塊將手檢測模型輸出的當(dāng)前幀的手的ROI區(qū)域發(fā)送給骨骼點(diǎn)識別模塊，如果不是初始幀，發(fā)送信號給追蹤模塊，追蹤模塊將估計的當(dāng)前幀的手的ROI區(qū)域發(fā)送給骨骼點(diǎn)識別模塊；骨骼點(diǎn)識別模塊將當(dāng)前幀的手的ROI區(qū)域?qū)?yīng)的深度圖像輸入骨骼點(diǎn)識別模型，獲得多個骨骼點(diǎn)的坐標(biāo)；

第一標(biāo)定部，將骨骼點(diǎn)識別模塊的相機(jī)坐標(biāo)系下手的骨骼點(diǎn)轉(zhuǎn)到頭盔顯示器坐標(biāo)下手的骨骼點(diǎn)；

渲染部，在頭盔顯示器的虛擬場景下渲染當(dāng)前幀對應(yīng)的手的三維模型。

2.根據(jù)權(quán)利要求1所述的手勢識別系統(tǒng)，其特征在于，包括多個相機(jī)和第二標(biāo)定部，所述多個相機(jī)的捕捉角度使得手遮擋最小且拼接區(qū)域覆蓋用戶操作區(qū)域最大；所述第二標(biāo)定部，將多個相機(jī)的坐標(biāo)系統(tǒng)一到一個相機(jī)坐標(biāo)系。

3.根據(jù)權(quán)利要求1或2所述的手勢識別系統(tǒng)，其特征在于，每一個相機(jī)和水平方向的夾角為45°。

4.根據(jù)權(quán)利要求3所述的手勢識別系統(tǒng)，其特征在于，包括兩個相機(jī)，所述兩個相機(jī)分別安裝在用戶操作區(qū)域的左上角和右上角。

5.根據(jù)權(quán)利要求1所述的手勢識別系統(tǒng)，其特征在于，還包括離線訓(xùn)練模塊，采集多個人在用戶操作區(qū)域的手的動作的多張紅外圖像和深度圖像分別作為手檢測模型和手骨骼特點(diǎn)識別模型的訓(xùn)練集，對所述手檢測模型和手骨骼點(diǎn)識別模型進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求1所述的手勢識別系統(tǒng)，其特征在于，所述初始幀獲得模塊包括第一初始幀獲得單元、第二初始幀獲得單元和第三初始幀獲得單元，當(dāng)檢測模塊檢測到手的個數(shù)由0變?yōu)?時，發(fā)送信號給第一初始幀獲得單元，第一初始幀獲得單元將手的個數(shù)為1的圖像作為第一初始幀，將手檢測模型獲得的第一初始幀上手的ROI區(qū)域發(fā)送給追蹤模塊，通過追蹤模塊對第一初始幀上手的ROI區(qū)域進(jìn)行追蹤估計；當(dāng)檢測模塊檢測到手的個數(shù)由1變?yōu)?時，發(fā)送信號給第二初始幀獲得單元，將對應(yīng)的手的個數(shù)為2的圖像作為第二初始幀，將第二初始幀上除第一初始幀獲得單元對應(yīng)的手的另一只手的ROI區(qū)域發(fā)送給追蹤模塊；當(dāng)檢測模塊檢測到手的個數(shù)由0變?yōu)?時，發(fā)送信號給第三初始幀獲得單元，將對應(yīng)的手的個數(shù)為2的圖像作為第三初始幀，將第三初始幀上手的ROI區(qū)域發(fā)送給追蹤模塊。

7.根據(jù)權(quán)利要求1所述的手勢識別系統(tǒng)，其特征在于，在線檢測跟蹤部還包括第二判斷模塊，第二判斷模塊判斷跟蹤模塊估計的當(dāng)前幀的手的ROI區(qū)域的面積是否超過設(shè)定范圍，如果超過設(shè)定范圍，發(fā)送信號給檢測模塊，將當(dāng)前幀的紅外圖像輸入手檢測模型，獲得當(dāng)前幀的ROI區(qū)域。