[發(fā)明專利]一種多通道沉浸式流場可視化人機(jī)交互方法

有效

• 申請?zhí)枺?/td>: 202011422014.4
• 申請日: 2020-12-08
• 公開（公告）號: CN112527112B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 楊超;周永國;蘇鋮宇;楊志供;喻杰;楊文祥;王岳青;代喆;趙丹
• 申請（專利權(quán)）人: 中國空氣動(dòng)力研究與發(fā)展中心計(jì)算空氣動(dòng)力研究所
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F9/451
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 徐靜

1.一種多通道沉浸式流場可視化人機(jī)交互方法，其特征在于，通過多種交互方式將輸入信息送入交互器中，分別進(jìn)行相應(yīng)的交互識別工作，并完成界面或可視化結(jié)果交互；所述多種交互方式包括手勢交互、手柄交互和凝視交互；

若進(jìn)行界面交互，則在手勢交互時(shí)采用凝視交互計(jì)算視線與界面的交點(diǎn)坐標(biāo)，通過移動(dòng)頭部使得交點(diǎn)的光標(biāo)移動(dòng)；在手柄交互時(shí)計(jì)算手柄發(fā)出的射線與界面的交點(diǎn)坐標(biāo)，通過移動(dòng)手柄使得交點(diǎn)的光標(biāo)移動(dòng)；

若進(jìn)行控件交互，則控件的移動(dòng)由預(yù)定義的手勢或者手柄按鍵抓住控件的第一類可交互把手球并拖動(dòng)來完成；控件的旋轉(zhuǎn)由兩步完成，第一步由預(yù)定義的手勢或者手柄按鍵去選中控件的第一類可交互把手球，使得控件由普通態(tài)激活為抓住態(tài)，第二步由預(yù)定義的手勢或者手柄按鍵抓住控件的第二類可交互把手球并拖動(dòng)，此時(shí)控件將會(huì)以第一類交互把手球?yàn)樾D(zhuǎn)中心按照移動(dòng)的距離和方向進(jìn)行旋轉(zhuǎn)；

場景交互包括場景的移動(dòng)、縮小和放大以及場景中可視化結(jié)果的顯示和隱藏：

若進(jìn)行場景的移動(dòng)，則在手勢交互時(shí)，通過控制導(dǎo)航球工具來控制移動(dòng)；在手柄交互時(shí)，通過手柄圓盤來控制移動(dòng)，按住圓盤即開始移動(dòng)，按壓的點(diǎn)與圓盤中心點(diǎn)的方位和距離決定移動(dòng)的方向和速度；

若進(jìn)行場景的縮小和放大，則通過雙手的相互接近或遠(yuǎn)離來控制場景縮放倍數(shù)的減小或增大；手勢和手柄的縮放操作相似，手勢根據(jù)預(yù)定義手勢觸發(fā)而手柄根據(jù)預(yù)定義按鍵觸發(fā)；在縮放交互操作開始時(shí)，記錄初始雙手距離S₀，在縮放交互操作進(jìn)行時(shí)計(jì)算實(shí)時(shí)雙手距離S₁，縮放倍數(shù)R＝S₁/S₀，將縮放倍數(shù)R應(yīng)用至世界坐標(biāo)系映射矩陣從而改變場景中所有物體的大小；

若進(jìn)行場景中可視化結(jié)果的隱藏，則選中點(diǎn)擊某一塊結(jié)果，再次點(diǎn)擊將其隱藏；可視化結(jié)果的選中是與可視化結(jié)果進(jìn)行交點(diǎn)計(jì)算，選中的結(jié)果進(jìn)行高亮半透明顯示，并記錄首次點(diǎn)擊時(shí)刻；再次點(diǎn)擊該塊結(jié)果，記錄當(dāng)前點(diǎn)擊時(shí)刻，與首次點(diǎn)擊時(shí)刻相減得到點(diǎn)擊間隔，間隔小于閾值判定為有效雙擊進(jìn)行可視化結(jié)果的隱藏，從而實(shí)現(xiàn)首次單擊選中雙擊隱藏；

若進(jìn)行場景中可視化結(jié)果的顯示，則通過與場景相關(guān)的界面實(shí)現(xiàn)，在當(dāng)前場景的交互界面中點(diǎn)擊顯示按鈕完成可視化結(jié)果的顯示；

所述導(dǎo)航球工具分為兩部分，外部是半透明不可交互的固定球，內(nèi)部是可交互球；通過手勢抓住可交互球進(jìn)行任意的拖動(dòng)，計(jì)算可交互球的球心與固定球的球心的偏移向量偏移向量的方向作為相機(jī)移動(dòng)方向，偏移向量的模長作為移動(dòng)速度的系數(shù)，將移動(dòng)方向和移動(dòng)速度作用于相機(jī)從而完成場景的移動(dòng)；若松開可交互球，則位置重置，恢復(fù)為初始狀態(tài)。

2.根據(jù)權(quán)利要求1所述的一種多通道沉浸式流場可視化人機(jī)交互方法，其特征在于，手勢交互的信息輸入方法包括：

通過手勢傳感器獲取手勢的姿態(tài)信息，由手指各個(gè)關(guān)節(jié)點(diǎn)的位置構(gòu)建虛擬手模型，然后使用坐標(biāo)系變換使虛擬手模型由手勢傳感器的局部坐標(biāo)系變換為虛擬現(xiàn)實(shí)頭盔的世界坐標(biāo)系，從而在虛擬現(xiàn)實(shí)環(huán)境中能夠看到追蹤真實(shí)手勢的虛擬手；手勢傳感器固定在虛擬現(xiàn)實(shí)頭盔的前部。

3.根據(jù)權(quán)利要求2所述的一種多通道沉浸式流場可視化人機(jī)交互方法，其特征在于，構(gòu)造坐標(biāo)系變換矩陣，遍歷原始手勢信息的各關(guān)節(jié)點(diǎn)應(yīng)用所述坐標(biāo)系變換矩陣完成坐標(biāo)轉(zhuǎn)換，將新坐標(biāo)應(yīng)用至虛擬手模型即可完成跟蹤真實(shí)手勢的虛擬手模型繪制顯示；

所述坐標(biāo)系變換矩陣的構(gòu)造包括坐標(biāo)軸變換、縮放變換、平移變換和旋轉(zhuǎn)變換，所述坐標(biāo)軸變換包括：將手勢局部坐標(biāo)系的坐標(biāo)軸統(tǒng)一至世界坐標(biāo)系；所述縮放變換包括：將手勢局部坐標(biāo)系的參考單位統(tǒng)一至世界坐標(biāo)系；所述平移變換包括：將手勢局部坐標(biāo)系原點(diǎn)移動(dòng)到世界坐標(biāo)系原點(diǎn)，使得兩個(gè)坐標(biāo)系的原點(diǎn)重合；所述旋轉(zhuǎn)變換包括：旋轉(zhuǎn)手勢局部坐標(biāo)系，使得兩坐標(biāo)系對應(yīng)坐標(biāo)軸重合。

4.根據(jù)權(quán)利要求3所述的一種多通道沉浸式流場可視化人機(jī)交互方法，其特征在于，所述旋轉(zhuǎn)變換包括以下步驟：

獲得相機(jī)的旋轉(zhuǎn)信息，構(gòu)建旋轉(zhuǎn)矩陣；將四元數(shù)表示用于旋轉(zhuǎn)變換獲得相機(jī)旋轉(zhuǎn)軸(u_x,u_y,u_z)以及旋轉(zhuǎn)角度α，構(gòu)造旋轉(zhuǎn)矩陣M_R(α)＝