[發明專利]一種基于Leap Motion和局域網內協同的虛擬裝配方法

有效

• 申請號: 201910673931.0
• 申請日: 2019-07-25
• 公開（公告）號: CN110515455B
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 彭延軍;范燁博;王元紅;盧新明
• 申請（專利權）人: 山東科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06Q50/04;G06T19/00
• 代理公司: 青島智地領創專利代理有限公司 37252
• 代理人: 種艷麗

1.一種基于Leap Motion和局域網內協同的虛擬裝配方法，其特征在于：包括如下步驟：

步驟1：對裝配部件進行三維建模得到三維模型后，使用Leap Motion傳感器，感知實體手，獲取手勢數據，計算手部移動速度、位置和方向，進行手勢識別；

步驟2：通過光線追蹤、剛體碰撞檢測判斷手與裝配部件以及零件物體之間是否有碰撞，若有碰撞則對模型變換坐標進行旋轉，實現裝配部件的拾取及后期的裝配工作；

步驟3：通過局域網內協同技術，利用Unity進行多用戶局域網互聯，利用已建立的三維模型搭建虛擬裝配場景，并將虛擬試驗場景網絡化，實現操作者的手與虛擬環境中裝配部件的交互，以及裝配部件的拆分與裝配，實現兩臺或多臺計算機在多用戶手勢控制下的協同工作；

步驟4：在所有部件拆分完畢后，學習者S將演示者T在一臺計算機A上已完成拆分，且學習者S已在計算機B上標記好裝配部件，按倒序在計算機A上進行組裝；

在步驟1中，具體包括如下步驟：

步驟1.1對裝配部件進行三維建模；

步驟1.2：通過Leap Motion傳感器在150度的空間視場范圍內同時追蹤10只手指，并且Leap Motion傳感器能夠將捕捉的人手動作信息轉換為數字信息傳輸給計算機，以便在計算機中進行處理，通過計算機顯示屏顯示，并通過視覺反饋給裝配者；

步驟1.3：使用基于混合高斯模型下的背景剪除方法，獲取手勢數據，包括坐標數據和旋轉方向數據，并利用區間卡爾曼濾波器和區間粒子濾波器，降低因數據長時間堆積產生的噪音，計算手部位置和方向，實現對人手動作數據的處理，并將手勢動作與虛擬環境中的手進行綁定，實現真實手部動作與虛擬手勢動作的一致同步性；

步驟1.4：完成手勢識別，具體步驟如下：

步驟1.4.1：通過手的移動速度完成靜態手勢、動態手勢的識別：

定義一個速度閾值thresholdV，根據公式(1)計算手的移動速度moveV；

其中，handVx為操作者的手在x方向上的速度，handVy為操作者的手在y方向上的速度，handVz為操作者的手在z方向上的速度；

判斷手的移動速度moveV與速度閾值thresholdV的大??；

當moveVthresholdV時，判定此時為動態手勢，則跳轉至步驟1.2.2；

當moveV＜thresholdV時，判定此時為靜態手勢，則跳轉至步驟1.2.3；

步驟1.4.2：對動態手勢利用光線追蹤方法進行運動跟蹤；

步驟1.4.3：對靜態手勢進行手勢判別；手勢狀態包括手勢張開和握拳；

判定手掌狀態；

定義指尖與掌心最大距離閾值為thresholdD，計算指尖與掌心的距離distance、手指與手掌法向量角度θ以及手指個數FingerCount；

指尖與掌心最大距離閾值thresholdD的計算公式如公式(2)所示：

其中x₁，x₂分別為指尖和掌心在x方向上的坐標，以此類推；

手指與手掌法向量角度θ的計算公式如公式(3)所示：

其中為手指向量，為手掌法向量；

當distance＞thresholdD，θ＝90°且FingerCount＝5時，判定此時為手掌打開狀態；

當distance＜thresholdD，θ≠90°且FingerCount＝0時，判定此時為握拳狀態。