[發明專利]一種基于混合現實技術的虛擬人機示教系統及方法

在審

• 申請號: 201710247132.8
• 申請日: 2017-04-17
• 公開（公告）號: CN107122045A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 楊辰光;滕濤;劉小峰;賀波濤
• 申請（專利權）人: 華南理工大學;常州普旺科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G09B9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及混合現實與虛擬人機交互技術領域。具體地涉及一種基于混合現實技術的虛擬人機示教系統。

背景技術

目前大多數生產線并不能做到完全自動化生產，加工裝配生產過程往往需要操作人員和機器相互配合來完成。因此對于不同的加工裝配任務需要事先對操作人員進行培訓，使其熟悉生產加工的過程并具備相應的操作技能。傳統的培訓方式主要是由經驗豐富的操作人員帶領，或者以教學視頻、指導手冊等資料來進行培訓。然而這些傳統的示教方式需要占用更多的人力物力資源，費時費力，而且示教過程效率較低，用戶體驗友好性不高，效果也很難得到保障。當加工裝配等任務更新時，有經驗的操作人員也需要重新學習。舊的示教資料也無法再繼續使用。因此傳統的示教方式可持續性不強，同樣會造成一定程度的資源浪費。綜合來看，提供高效、可持續、交互體驗友好的示教系統是具有重要意義的。

隨著科技的發展和進步，數字化開始進入到我們的生活中。現代技術的運用也影響到了我們傳統的示教理念與示教方式，改變了教與學的傳統模式，并成為新的發展趨勢。混合現實技術和虛擬交互技術作為全新的電子技術因其在人機交互體驗中的生動性與友好性成功運用到了現代的教學中，為傳統示教模式帶來新的變革。

發明內容

本發明提供了一種基于混合現實技術的虛擬人機示教系統，該系統主要由計算機主機中央處理系統、全息投影系統、視覺傳感器、慣性傳感器集成在一起組成，全息投影系統、視覺傳感器、慣性傳感器通過有線方式連接計算機主機，完成數據通訊。該系統也可稱為混合現實頭戴式顯示設備，其結構示意圖如附圖1所示。

所述計算機主機可以是任意的計算機主機，主機中央處理系統可以是任意的中央處理器（CPU）、圖形處理器（GPU）。所述全息投影系統負責接收計算機主機發送過來的圖像信息并投影出虛擬圖像形成一個投影區。

所述視覺傳感器為具有三維識別功能的攝像頭與深度傳感器，用于采集物體的空間位置信息和運動信息。

所述慣性測量單元為加速度計與陀螺儀，用于采集設備自身的位置與姿態信息。

所述投影區提供一個人與混合現實頭戴式顯示設備交互的區域，交互形式包含但不限于：人通過不同的手勢與虛擬投影圖像進行交互，投影內容主要是但不限于：3D虛擬示教動畫、控制菜單。示教動畫可以是任意的，形式多樣的，內容包含但不限于：加工裝配等工業任務。

本發明的另一種技術方案為提供了一種基于混合現實技術的虛擬人機示教系統的實施方法，其特征在于：包括如下內容：

①該設備需要佩戴在操作人員頭上。視覺傳感器采集空間的三維圖像信息，這些攝像頭能夠獲取不同角度的深度圖，再對不同的深度圖進行累積，從而借助立體視覺等技術由計算機主機中央處理系統計算出周圍環境的精確的三維模型。

②獲取了周圍的三維場景模型后，計算機中央處理系統生成圖像信息，并控制全息投影系統透過全息透視鏡在被操作對象的上方投影出一個投影區，內容包括3D虛擬示教動畫和控制菜單。慣性測量單元可以追蹤操作人員的頭部移動獲取位置與姿勢信息，當操作人員視線移動的時候投影的虛擬區域可能出了操作人員的視野范圍，操作人員可以移動頭部位置轉換視角使得投影區重新進入視野范圍。

③視覺傳感器可以實時捕捉人手的位置并識別人手的手勢。當人手進入投影的“控制菜單”區域時，交互方式可以是但不限于：手勢動作為連續的“點擊動作”與“釋放動作”，這樣即為一次“有效點擊”。經過一次“有效點擊”則選中控制菜單對應區域的控制命令，視覺傳感器將此信息傳遞給計算機主機中央處理系統，根據事先編程好的所對應的控制指令計算機主機中央處理系統控制投影系統投影出新的內容。

操作人員還可以與示教動畫交互，當視覺傳感器檢測到人手進入3D虛擬示教動畫區域時，若人手完成一次“點擊動作”則計算機主機中央處理系統控制全息投影系統使3D虛擬動畫暫停，若視覺傳感器檢測到人手“點擊”狀態沒有結束則操作人員可以拖動3D虛擬動畫的位置與角度，使得示教動畫實現360度展現。當視覺傳感器檢測到人手的“釋放動作”時代表“點擊動作”結束，拖動作用結束。3D虛擬動畫繼續進行。

④計算機中央處理系統實時地接收視覺傳感器采集的圖像信息進行處理和實時地構造投影圖像并發送給全息投影系統進行投影；另一方面在識別出人手進入投影區域且在投影控制區有人為控制指令產生時，給全息投影系統發送相應的控制信號。