[發(fā)明專利]基于opencv和easyar的虛擬按鍵觸發(fā)方法

有效

• 申請?zhí)枺?/td>: 201611033483.0
• 申請日: 2016-11-14
• 公開（公告）號: CN106708256B
• 公開（公告）日: 2018-05-25
• 發(fā)明（設計）人: 董晉超;孫冰
• 申請（專利權）人: 北京視據(jù)科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京酷愛智慧知識產(chǎn)權代理有限公司 11514
• 代理人: 李向英

本發(fā)明屬于AR技術領域，提供了基于opencv和easyar的虛擬按鍵觸發(fā)方法，包括S1：標定：預設有標定物目標；實時獲取圖片信息；S2：采樣：當搜索到標定物時，得到誤判區(qū)域，記錄取樣時間內(nèi)經(jīng)過虛擬按鍵位置的誤判區(qū)域的數(shù)量；S3：跟蹤識別：實時跟蹤標定物，并統(tǒng)計每個取樣時間內(nèi)經(jīng)過預設的虛擬按鍵位置的誤判區(qū)域的數(shù)量，當該數(shù)量大于初始數(shù)量時，運行與虛擬按鍵關聯(lián)的操作。該方法采取了一個折中的處理，采用現(xiàn)有的效率較高的訓練文件對手部進行訓練，并將訓練結果進行二次運算，從而識別手的位置，降低對準確性要求高的訓練文件制作的標準，運算量低，快速。

技術領域

本發(fā)明涉及AR技術領域，具體涉及基于opencv和easyar的虛擬按鍵觸發(fā)方法。

背景技術

增強現(xiàn)實技術(Augmented Reality，簡稱AR)，是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現(xiàn)實技術，不僅展現(xiàn)了真實世界的信息,而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。在視覺化的增強現(xiàn)實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著它。現(xiàn)有的AR主要通過手機與現(xiàn)實互動，互動方式單一。

為了增強AR中與現(xiàn)實的互動性，申請人提出了在AR產(chǎn)品中植入虛擬按鍵的概念，使得用戶通過點擊現(xiàn)實空間中虛擬按鍵對應的空間，便能觸發(fā)與虛擬按鍵關聯(lián)的操作。這就要求AR產(chǎn)品能夠對手部的位置進行識別。現(xiàn)有的用于AR領域中的手部識別技術均通過訓練文件搜索手部所處的區(qū)域，從而得到手部的位置。但是現(xiàn)有的準確性高的訓練文件具有如下缺點：一是樣本量過大，導致制作手部訓練文件的成功率低消耗時間成本較高。二是訓練文件運行時占用內(nèi)存過大，導致在手機上運作會過卡或者識別過慢。對于效率較高的訓練文件，它雖然能夠快速判斷出人手的位置，但是由于其準確性較低，其往往會誤判出一堆被誤識別為手的區(qū)域。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的缺陷，本發(fā)明提供一種運算量低、快速、應用于AR領域中的基于opencv和easyar的虛擬按鍵觸發(fā)方法。

基于opencv和easyar的虛擬按鍵觸發(fā)方法，包括以下步驟：

S1：標定：在easyar中預設有標定物目標；easyar實時獲取攝像頭拍攝得到的圖片信息；

S2：采樣：當easyar通過攝像頭搜索到與標定物目標相匹配的標定物時，利用opencv的訓練文件訓練手部生成的xml得到誤判區(qū)域，記錄取樣時間內(nèi)經(jīng)過預設的虛擬按鍵位置的誤判區(qū)域的數(shù)量，定義為初始數(shù)量；

S3：跟蹤識別：easyar實時跟蹤標定物，利用opencv的訓練文件訓練手部生成的xml得到誤判區(qū)域，并統(tǒng)計每個取樣時間內(nèi)經(jīng)過預設的虛擬按鍵位置的誤判區(qū)域的數(shù)量，當該數(shù)量大于初始數(shù)量時，運行與虛擬按鍵關聯(lián)的操作。

優(yōu)選地，所述步驟S1中的標定物目標為預先輸入的標定物圖片。

優(yōu)選地，所述easyar在Unity編輯器中設定所述標定物目標。

優(yōu)選地，所述誤判區(qū)域的數(shù)據(jù)類型為CVRect。

優(yōu)選地，在所述攝像頭的成像區(qū)域內(nèi)還設有提示區(qū)域；在所述步驟S2中的采樣過程中，提示區(qū)域用于輸出顯示有禁止手放入的提示信息。

優(yōu)選地，所述步驟S3中還包括有：在easyar實時跟蹤標定物的過程中，當easyar檢測到標定物投射在應用程序中的世界坐標位移大于預設的可抖動距離時，返回步驟S2。

優(yōu)選地，所述步驟S3中easyar采用Augment方法實時跟蹤標定物。