[發明專利]一種基于雙目視覺的高精度虛擬裝配系統算法

有效

• 申請號: 201410596344.3
• 申請日: 2014-10-28
• 公開（公告）號: CN104408760B
• 公開（公告）日: 2017-12-29
• 發明（設計）人: 張立國;王鵬;金梅;蔣再毅
• 申請（專利權）人: 燕山大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/80;G06F17/50
• 代理公司: 秦皇島一誠知識產權事務所(普通合伙)13116
• 代理人: 李合印

技術領域

本發明涉及一種基于雙目視覺的高精度虛擬裝配系統算法。

背景技術

在產品的設計和制造過程中，裝配是一個很重要的環節，裝配的效率和質量直接影響產品的最終質量。據有關資料介紹，裝配工作的成本占總制造成本的30％～50％，甚至還可能更高。在傳統的裝配過程中，由于裝配通常并不能一次性完成，必須要反復的裝配和修改設計，且修改過程中需依賴實物模型。這種繁復的工作不僅使得裝配過程極其復雜，也使得裝配成本頗高。虛擬裝配是利用計算機工具，在沒有產品或支撐工藝的物理實現情況下，通過分析、虛擬模型、可視化和數據表達，做出或輔助做出裝配關系工程的決定。不同于傳統設計必須依靠實物模型進行裝配，虛擬裝配技術可以在數字環境中進行裝配，從而對設計進行檢驗和修改，并形成評價模型。虛擬裝配技術的應用可以簡化產品的優化設計，縮短設計周期，減少設計成本，提高產品精度和生產自動化程度。實現手部姿勢的高精度立體跟蹤是虛擬裝配系統的一個關鍵性且具有挑戰性的問題。為了開發一種有效的且高效的解決方案，研究者們需要考慮一些復雜的、相互關聯的因素，例如手部動作會存在的高維度的問題、手的外觀顏色的均勻度的問題和嚴重的自遮擋問題。為了解決以上這些問題，一些非常成功的方法應用于專門進行動作捕捉的硬件或者用來進行視覺標記。遺憾的是，這些方法需要一個復雜的、昂貴的硬件設備或者它們會受到觀測場景的干擾,或者兩種情況同時存在。由于上述原因，從而影響虛擬裝配系統的用戶體驗效果和推廣普及。

對于通過無標記視覺數據來解決手勢的立體跟蹤識別問題，現有的方法可 以分為基于模型和基于外觀兩種?；谀Ｐ偷姆椒ㄌ峁┻B續的解決方案,但是需要昂貴的成本和依賴于豐富的視覺信息的可用性,這些信息一般由多功能攝像機系統提供?；谕庥^的方法需要相對較少的計算成本和不那么復雜的硬件，但是它們對手勢的識別是不連續的，不能實現對手勢的準確跟蹤識別。

發明內容

本發明的目的是為了克服背景技術中的不足之處，基于Kinect傳感器系統，融合手勢識別跟蹤技術及人機交互方式，提供一種基于雙目視覺的高精度虛擬裝配系統算法。該算法主要是依靠Kinect傳感器采集的信息作為輸入，在基于模型方法的基礎上，將手勢的識別跟蹤問題轉化為一個利用改進的PSO算法解決的最優化問題，并利用GPU提高最優化性能。

為了解決上述存在的技術問題，本發明是通過以下技術方案實現的：

一種基于雙目視覺的高精度虛擬裝配系統算法，該算法內容如下：

通過Kinect傳感器采集用戶運動空間信息，包括上肢動作信息、手勢信息包括靜態手勢和動態手勢信息作為虛擬裝配系統的輸入信息，從而使用自然習慣動作完成虛擬裝配過程；

采用Kinect傳感器拍攝手部姿態的彩色圖像和對應的深度圖像信息作為輸入信息，通過膚色檢測結合深度信息，分割出手部圖像，得到觀察的模型；應用OpenGL建立手部模型，采用球體、圓柱體、橢球體和椎體四個基本圖元，建立一個用27個參數表征的具有26個自由度的3D手部模型；

將建立的手部模型與采集的手部圖像進行對比，計算得到手部模型與手部圖像的相似度，采用改進的粒子群優化算法，通過相異性計算公式E(h,O)，估算出觀察對象與模型對象之間的相異程度，不斷優化手部模型的27個參數，使得相似度度量達到最大，最終得到采集圖像的手部模型，基于手部模型以及 Kinect傳感器的標定信息，最終渲染得到深度圖像，實現對手勢的跟蹤識別，完成虛擬裝配系統的信息輸入，進而實現高精度虛擬裝配過程。

所述的相異性計算公式E(h,O)為：

E(h,O)＝D(O,h,C)+λ_k·kc(h)(1)

其中λ_k是一個標準化因數，C表示攝像機的校準信息，h代表模型對象，O代表觀察對象；函數D(O,h,C)表示為：

函數D(O,h,C)中的絕對值表示觀察對象與模型對象的箝位深度差，ε用來防止分母為零。

本發明采用一種合理的統一的評價標準(PTB)，通過對包圍盒隨時間和序列而發生的變化進行統計分析，對不同算法的跟蹤效果進行一個具有說服力的比較和評價。該標準需要構造了一個統一的基準數據庫，并實現對偏離率統計數據的分析。這個數據庫由100段高歧異度的RGBD視頻樣本構成，其中95段視頻樣本用于評價，其余5段視頻樣本用于參數調整，利用2D或3D模型測試不同的跟蹤算法，而且提出一種定量比較方法，對依據RGB或RGBD信息進行跟蹤的不同算法做出合理的比較和評價。