[發明專利]一種將視覺注冊和機械注冊相結合的混合三維注冊方法

有效

• 申請號: 201210410753.0
• 申請日: 2012-10-24
• 公開（公告）號: CN102938149A
• 公開（公告）日: 2013-02-20
• 發明（設計）人: 沈旭昆;郝爽;趙凌;張鳳全
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;顧煒

技術領域

本發明涉及三維注冊技術領域，具體涉及一種將視覺注冊和機械注冊相結合的混合三維注冊方法，其利用Naturalpoint輸出6DOF信息的方法從攝像機和紅外marker之間的轉換矩陣來獲得攝像機的實時外部參數，用于三維模型在增強現實環境中的實時三維注冊。

背景技術

在增強現實中，用戶可以獲得一種混合的場景，該場景將真實的背景圖像和虛擬的三維模型疊加到一起。三維注冊技術是增強現實的關鍵技術之一。它獲取攝像機的位置和姿態并計算虛擬物體在投影平面上的映射位置，這樣虛擬物體就會被實時地顯示到顯示器的正確位置。常見的三維注冊方法主要是基于視覺的三維注冊方法和機械式三維注冊方法。

基于視覺的三維注冊方法包含兩類，一種是基于marker的三維注冊，另一種是基于自然特征點的三維注冊。文獻1-Real-time?3D?registration?of?stereo-vision?based?range?images?usingGPU.In?Applications?of?Computer?Vision(WACV),2009?Workshop?on,pages?1-6,dec.2009介紹了一種結合GPU的視覺式三維注冊方法，該方法通過對預先設置好的marker拍照，通過分析每一幀圖像來獲取攝像機相對于世界坐標系的姿態，以此定位攝像機的位置。這種方法計算速度較快，可以滿足實時性的要求，但是需要對整個marker進行拍攝，否則無法計算出攝像機的姿態，因此這種注冊方法容易受遮擋的影響。文獻2-Registration?for?Stereo?Vision-basedAugmented?Reality?Based?on?Extendible?Tracking?of?Markers?and?NaturalFeatures.IEEE.2002:1045-1048使用自然特征點和預定義基準marker結合的方法來注冊三維物體，首先估計真實世界和虛擬場景之間的投影矩陣，同時從初始化圖像中檢測和跟蹤自然特征點，當整個marker出現在圖像幀時，自然特征點用來修正投影矩陣。這種方法結合了自然特征點和marker，自然特征點可以對marker的易遮擋做出補償，而marker可以對自然特征點的跟蹤精度較差做出補償。

另一種三維注冊方法為機械式三維注冊方法，這種方法穩定，不易受遮擋的影響，可以跟蹤注冊多個位置，適用于較大區域內的三維立體注冊。同時這種方法的缺陷是不易融入增強現實系統中，需要借助其他方法將其坐標系統一到世界坐標系中。文獻2-Hybrid?Inertial?andVision?Tracking?for?Augmented?Reality?Registration提出了一種將慣導跟蹤和視覺式注冊相結合的三維注冊方法。

發明內容

本發明的技術解決問題：克服現有技術的不足，提供一種將視覺注冊和機械注冊相結合的混合三維注冊方法，該方法在實時運行時，不需要額外的標定marker，不需要額外的相機對標定marker進行實時攝像，綜合視覺注冊的精確性和機械注冊的快速性，同時避免視覺注冊易被遮擋和機械注冊難以融入系統的缺點，在場景中快速移動頭盔顯示器的情況下，依然可以快速精準地定位物體。

本發明的技術解決方案：一種將視覺注冊和機械注冊相結合的混合三維注冊方法，其步驟如下：

（1）標定攝像機的內部參數；

（2）攝像機對多marker標定板拍照得到原始圖像，去除圖像頭信息得到圖像raw數據，定義多marker配置文件，使用ARToolkitPlus計算攝像機相對于多marker坐標系的外部參數A；

（3）計算Naturalpoint輸出矩陣Np，首先計算繞x/y/z三個坐標軸方向的旋轉矩陣，然后計算平移矩陣t，按照特定順序相乘即得矩陣Np；

（4）確定視口坐標系和攝像機坐標系之間的轉換矩陣P，該矩陣隨著不同的繪制引擎和攝像機而不同；

（5）由于無法測量攝像機坐標系相對于世界坐標系的轉換關系，需要借助紅外小球確定紅外小球坐標系與攝像機坐標系之間的轉換矩陣T，將紅外marker和攝像機綁定，這樣矩陣T固定，可作為初始值載入系統。

所述步驟（1）中，標定攝像機時使用兩種不同的方法，第一種方法為opencv的標定方法得到結果R1，第二種方法為matlab的標定方法得到結果R2，當二者誤差小于閾值n時，即|R1-R2|<n時，將R2作為標定結果，否則舍棄此次標定，重新標定。