[發明專利]一種面向AR的導航式交互范式系統

有效

• 申請號: 201910660335.9
• 申請日: 2019-07-22
• 公開（公告）號: CN110554774B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 馮志全;肖夢婷
• 申請（專利權）人: 濟南大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G09B9/00
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 侯德玉

1.一種面向AR的導航式交互范式系統，其特征在于，包括輸入與感知模塊、融合模塊以及應用表達模塊；

所述輸入與感知模塊通過kinect圖像采集設備獲取手部骨骼深度信息，得到手勢深度圖，并在Unity 3D中借助所述手勢深度圖完成手勢識別，并根據坐標轉換實現手勢位置與虛擬模型的實時交互；通過SDK進行語音關鍵詞識別，通過語音的輸入，對關鍵詞提取，以及對實驗所需的關鍵詞分類，通過相似度計算得到相似度概率，構成完整語音命令，完成語音識別；

所述融合模塊根據輸入感知模塊獲取的手勢識別、語音識別以及力反饋表達，通過計算不同模態下不同狀態的信號感知對用戶意圖進行分類；通過判斷用戶意圖和不同狀態之間的關系，確定多模態意圖；并且設置意圖專家知識庫，所述意圖專家知識庫中設置用戶意圖與用戶行為之間的充分必要條件；

所述應用表達模塊根據融合模塊的表達對虛擬化學實驗進行語音導航，視覺呈現，以及通過在手指上設置的力反饋部件進行感知力反饋表達。

2.根據權利要求1所述的一種面向AR的導航式交互范式系統，其特征在于，所述通過kinect圖像采集設備獲取手部骨骼深度信息得到手勢深度圖的方法為：

S1：利用kinect圖像采集設備獲取手部骨骼深度信息，并分割手部區域，采集手勢深度圖；

S2：將所述手勢深度圖按比例分成訓練集和測試集；所述訓練集和測試集的比例為7:3，并將所述手勢深度圖剪切成n個；所述n大小相等，且n為自然數；

S3：將訓練集的手勢深度圖輸入到CNN的Alexnet網絡中，通過不斷更新權重，提取手勢深度特征，所述手勢深度特征的表達式為：

所述l為當前層數，n為前一層的神經元個數，w_ij^m為l層神經元j與上一層神經元i之間的連接權重，b_i^m為l層卷積層后的第j個特征偏置。

3.根據權利要求2所述的一種面向AR的導航式交互范式系統，其特征在于，在Unity 3D中借助kinect圖像采集設備在不同幀下獲取的手勢深度圖輸入到手勢識別模型中完成識別，并根據坐標轉換實現手勢位置和虛擬模型的實時交互的方法為：

S4：將所述手勢深度圖經過softmax分類器分成六維坐標向量，所述六維坐標向量分別代表六種手勢；依次取所述向量中最大值概率為訓練模型；將所述測試集輸入到所述訓練模型中進行測試；

S5：通過kinect圖像采集設備，分別獲得第n幀手勢深度圖和第n-1幀手勢深度圖，獲取在不同時刻的兩個關節點坐標S_n(θ)和S_n-1(θ)；所述θ為手節點深度三維坐標；判斷S_n(θ)和S_n-1(θ)是否相等，如果相等，則當前的手勢沒有變化；如果不相等，則再次判定所述當前的手勢對應所述訓練模型中的手勢識別結果，輸出給G^m，所述m為手勢類型；

S6：根據手部關節點坐標在真實空間中的映射和深度三維坐標，確定手部關節點坐標與真實空間之間的映射關系為：

所述(Kinect_X,Kinect_Y,Kinect_Z)為真實空間中利用深度攝像頭獲取的手部關節坐標；所述(U_X,U_Y,U_Z)為unity環境下的虛擬場景坐標，所述W為在場真實場景與虛擬場景的坐標對應的比例關系，所述(val_X,val_Y,val_Z)為真實空間的人手與虛擬物體視點原點的對應關系。