[發明專利]基于增強現實和圖像識別的人機交互支撐測試系統

在審

• 申請號: 201610369666.3
• 申請日: 2016-05-31
• 公開（公告）號: CN107450714A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 宋立新
• 申請（專利權）人: 大唐電信科技股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及增強現實和圖像識別的人機交互技術領域，特別是基于增強現實和圖像識別的人機交互支撐測試系統。

背景技術

增強現實技術是近年來隨著虛擬現實技術的發展而產生的一項新技術，其利用計算機渲染生成虛擬場景，并將此虛擬場景與真實世界準確無誤的融合在一起，最終利用視頻顯示設備將虛擬融合之后的場景呈現給用戶，從而大大提高了人類的視覺體驗。增強現實技術可以產生實時的沉浸感，讓人們以一種更加自然的方式與計算機進行交互，是一種強調“以人為主體”的人機交互技術，目前已廣泛的應用于軍事、醫療、教育、娛樂等領域。

在當前增強現實系統的研究和開發過程中，大多以實體的手持設備作為人機交互的主要接口，該方法雖然開發成本較低，但其交互功能相對簡單，交互方式不夠自然，并且大大的降低了增強現實中人機交互的沉浸感。為了給使用者提供一種更加自然與智能的交互方式，本發明利用人手通過圖像識別的方式，代替手持設備來完成虛擬場景的人機交互，與實體式的手持設備相比，其易用性是顯而易見的，將人手作為輸入接口來完成與虛擬場景的交互，將虛擬模型綁定到操作者身上，使其更加自然的操作虛擬對象，大大的提高了人機交互的沉浸感，拓展了增強現實系統中人機交互的方式。

發明內容

本發明針對現有技術存在的問題，發明了基于增強現實和圖像識別的人機交互支撐測試系統。該發明利用攝像機來獲取真實場景的圖像信息，對獲取的圖像進行標記檢測和匹配，獲得該標記對應的特征和身份信息。根據標記的特征和身份信息，計算得到該攝像機的姿態信息。生成與標記身份信息相對應的虛擬對象，并準確的與真實場景“對齊”，最終由顯示設備把最終虛實融合的圖像呈現出來。在人機交互的過程中由攝像頭負責視頻圖像的采集，對每一幀圖像進行判斷、手勢的識別、位置定位跟蹤、手勢位姿計算、虛擬模型加載、虛實融合、顯示輸出等過程，以完成一個完整的基于手勢識別的增強現實系統人機交互過程。

該系統包含四個功能模塊：標記跟蹤模塊、手勢跟蹤模塊、鼠標控制模塊和軌跡識別模塊。手勢跟蹤又包含圖像預處理、目標跟蹤、目標檢測、目標信息融合。手勢識別模塊有特征提取、聚類、軌跡識別三個子塊組成。

所述的標記跟蹤模塊，處理攝像頭實時采集的視頻圖像。通過標記檢測和識別，獲取標記的ID信息，計算得到攝像機的姿態信息，獲得從真實坐標到二維屏幕的轉化矩陣。

所述的手勢跟蹤模塊，為帶檢測的跟蹤方法。該模塊判斷在單幀圖片中是否存在某種已定義的手勢，如果存在則確定其在圖像中位置。當跟蹤遇到劇烈的變動或者跟蹤點從攝像區域中消失時，可以重新檢測目標并對其跟蹤。

所述的已定義手勢為四種靜態手勢，包括食指手型、剪刀手型、手掌手型以及拳頭手型。

所述的鼠標控制為通過四個手型檢測跟蹤實現鼠標左、中、右的點擊和漫游。其中定義手掌到拳頭為鼠標左鍵的關系；手掌到剪刀為鼠標右鍵的關系；手掌到食指為鼠標中鍵盤的關系。將手型的變化映射到鼠標事件上，在未檢測跟蹤到任何手型時，只啟動檢測手型零，手型零代表人手開始握住鼠標，并開始做移動鼠標的動作。此是啟動其它三類目標檢測算子，等待類似鼠標左、中、右鍵按下和釋放的指令。

所述的模式識別模塊，將位置、方向和速度等特征進行聚類，離散化特征向量作為HMMs的輸入，使用Viterbi算法對觀察序列符號輸出后驗證概率，輸出概率最大者為手勢所屬類別。

本申請實施例中提供的一個或多個技術方案，至少具有如下技術效果或優點：該系統實現了虛擬信息與真實世界的無縫連接，達到虛擬融合的目的，在感官上提供給用戶全新的體驗。對于人機交互支撐測試系統，不單單去顯示虛擬的信息，而且允許用戶與系統進行實時的交互。實現了一個基于增強現實的具有觸摸感知功能的人機交互支撐測試系統。

附圖說明

下面結合附圖和具體實施方式對本發明作進一步詳細的說明。

圖1為本發明的系統框圖

圖2為本發明實現流程圖

具體實施方式

如圖1所示，本發明基于增強現實和圖像識別的人機交互支撐測試系統，提供了一個用單手運動，通過從單目、普通攝像頭采集圖像，進行圖像識別的人機交互支撐測試系統，此系統包含三個功能模塊：圖像標記模塊、手勢跟蹤模塊、鼠標控制模塊和軌跡識別模塊。手勢跟蹤里面包含有圖像預處理、目標跟蹤、目標檢測、目標信息融合；手勢識別模塊有特征提取、聚類、軌跡識別三個子塊組成。圖2為本發明實現的流程圖。