[發明專利]一種基于增強現實的6-DOF視觸覺交互方法

有效

• 申請號: 202010893239.1
• 申請日: 2020-08-31
• 公開（公告）號: CN112181135B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 劉佳;郭斌;謝余磊;閆冬;卞方舟;錢昌宇
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G06V20/20;G06V10/44;G06V10/75
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 周科技

1.一種基于增強現實的6-DOF視觸覺交互方法，其特征在于：該方法包括以下步驟：

步驟1，將觸覺設備和相機初始化，在場景中放置自然特征模板a，通過相機實時采集場景圖像；對場景圖像中模板a進行檢測和跟蹤，搭建基于自然特征的增強現實系統；

步驟2，獲取觸控筆的初始姿態信息，構建視觸覺空間轉換矩陣，通過視觸覺空間轉換矩陣對場景中的觸覺設備末端的真實觸控筆進行虛擬注冊，并添加觸覺反饋接口；

步驟2.1，采集觸控筆在世界模板圖像上的四個角點位置，分別記錄觸控筆在觸覺空間和世界坐標中的位置，構建視觸覺空間轉換矩陣；通過剛性轉換將觸覺空間轉換到基于自然特征模板構建的真實世界空間；

計算觸控筆的繞各個軸的旋轉量，用于初始化虛擬觸控筆的方向角，補充觸控筆的姿態信息，構建數學轉換公式：其中代表觸控筆在真實世界中的三維坐標，表示觸控筆在觸覺活動空間的三維坐標，R_3×3和t_3×1分別表示旋轉矩陣和平移向量；

步驟2.2，實時檢測并計算注冊虛擬對象所需要的模型視圖矩陣，基于空間轉換矩陣和模型視圖矩陣對場景中真實觸控筆進行虛擬注冊；

結合剛性轉換和方向角設置虛擬觸控筆的模型視圖矩陣，實現對觸控筆的虛擬注冊，使用Levenberg-Marquardt算法求解獲得最優的R_3×3和t_3×1的值，完成視觸覺空間之間的轉換，式中N表示分別采集真實世界坐標系中的點數量；

步驟3，基于視觸覺空間轉換關系將觸覺設備的前向運動模型融入觸覺交互過程，實時計算觸控筆的姿態信息，將觸覺設備的運動姿態映射到視覺空間；

步驟4，在場景中放置自然特征模板b，在模板b上注冊虛擬物體，對虛擬物體模型進行繪制及渲染，使用步驟2中注冊的虛擬觸控筆與虛擬物體進行交互，實現觸覺交互。

2.根據權利要求1所述的一種基于增強現實的6-DOF視觸覺交互方法，其特征在于：所述步驟1，實時采集場景圖像，使用ORB算法和KTL算法對場景圖像中模板a的特征點進行提取、識別、匹配和跟蹤，搭建基于自然特征的增強現實系統。

3.根據權利要求1所述的一種基于增強現實的6-DOF視觸覺交互方法，其特征在于：所述步驟3中，基于觸覺設備的運動學模型推導出觸控筆的實時運動狀態，θ_ja＝(θ₁,θ₂,θ₃)代表觸覺設備的關節角度，θ₁,θ₂,θ₃分別為觸覺設備在X,Y,Z軸上的旋轉角度，表示觸控筆的位置；通過觸覺設備上的萬向節傳感器獲得實時旋轉角度，θ_ga＝(θ₄,θ₅,θ₆）代表觸控筆的繞軸方向角，即觸控筆在坐標軸上的實時旋轉角，θ₄,θ₅,θ₆分別為觸控筆在X,Y,Z軸上的旋轉角度，表示觸控筆的方位；根據萬向節傳感器得到繞Y、X和Z軸的實時旋轉角，最后獲得觸控筆在位置和方向上的實時旋轉角度；將觸覺設備的前向運動模型映射到增強現實空間中，用于視觸覺實時交互。

4.根據權利要求1所述的一種基于增強現實的6-DOF視觸覺交互方法，其特征在于：所述步驟4，具體為：

根據所拍攝場景中的特征點完成虛擬物體的注冊，對虛擬物體模型進行繪制及渲染，在注冊完成后利用場景中的觸覺設備與虛擬對象進行實時交互，在視覺上的顯示為兩個虛擬物體間的交互；當發生交互操作時，基于觸覺設備的運動模型計算實時的模型視圖矩陣，對場景圖像和反饋力進行實時的刷新。

5.根據權利要求4所述的一種基于增強現實的6-DOF視觸覺交互方法，其特征在于：所述步驟4中，當通過虛擬觸控筆與對象進行實時交互時，將虛擬觸控筆的實時狀態傳遞交互的對象，并通過模型視圖矩陣和投影矩陣將觸控筆姿態的實時變化量傳遞給交互對象；通過觸控筆上的按鈕獲取視觸覺交互時觸控筆的初始位置和旋轉值，基于觸控筆的實時移動構建交互對象的移動和旋轉的模型視圖矩陣，計算實時的旋轉量；然后對旋轉量進行羅德尼格斯方法構建旋轉矩陣，并對其進行齊次操作；基于按下按鈕時的旋轉矩陣，確定虛擬觸控筆相對于初始位置時的旋轉變換量；接著將其坐標軸原點移動至交互點并以交互構建坐標軸，將交互點作為旋轉和平移的中心點，根據初始位置和實時位置計算實時位移量t，繼而根據位移量構建實時的位移轉換矩陣，最后將當前的模型視圖變換矩陣與實時變換后模型視圖矩陣相乘，獲得包含旋轉和平移的模型視圖矩陣，實現將觸覺設備的運動姿態傳遞給交互對象。