[發明專利]基于PMD相機和攝像頭的彩色三維重建系統及其方法

在審

• 申請號: 201310323086.7
• 申請日: 2013-07-29
• 公開（公告）號: CN104346829A
• 公開（公告）日: 2015-02-11
• 發明（設計）人: 王輝;胡小安;張小超;毛文華
• 申請（專利權）人: 中國農業機械化科學研究院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 梁揮;祁建國

技術領域

本發明屬于自動檢測技術領域，具體地涉及一種融合PMD相機（Photonic?Mixer?Device，PMD）的位置信息和彩色攝像頭的色彩信息的三維重建系統及其方法。

背景技術

三維重建，是指對三維空間中物體建立適合計算機表示和處理的數學模型，是在計算機環境下對其進行處理、操作和分析其性質的基礎，也是在計算機中建立表達客觀世界的虛擬現實的關鍵技術。在機器視覺中，三維重建是指根據單視圖或者多視圖的圖像重建三維信息的過程，由于單視頻的信息不完全，因此三維重建需要利用經驗知識，而多視圖的三維重建（類似人的雙目定位）相對比較容易，其方法是先對攝像機進行標定，即計算出攝像機的圖像坐標系與世界坐標系的關系，然后利用多個二維圖像中的信息重建出三維信息。

目前，傳統的機器人視覺系統都是以單目視覺或雙目視覺為基礎進行目標的識別定位等工作，這種視覺系統對目標的識別和定位存在以下問題：雙目視覺系統在空間定位上一般要求傳感器和目標之間的距離大于50cm。而單目視覺與位置傳感器的組合形式一般要求位置傳感器與目標的距離小于100cm；這都大大限制了三維重建系統和方法在實際工作中的應用。

因為，對于標準的平行軸立體視覺系統，即兩個攝像機坐標系相互平行且相互僅在它們的X或Y軸方向平移一段距離的雙目立體視覺系統，其中的深度恢復和三維重建方法是本領域所熟知的（Ramesh?Jain,Rangachar?Kasturi,Brian?G?Schunck.Machine?Vision,McGraw-Hill,1995）。他是利用兩個相機同時采集的圖像，兩張圖像在X軸或Y軸方向具有一定像素偏差，通過標準的三維重建方法進行深度恢復和三維重建時，這就要求兩張同時采集到的圖像中要有共同的目標，即要求目標到相機系統的平面有一定的水平距離，這個距離和兩個相機間的水平距離有一定關系，一般要求目標到相機平面的水平距離大于50cm。而對于單目視覺組合的三維重建方法，由于使用位置等傳感器來感知目標的深度，所以對目標到相機平面的水平距離也是有要求，一般要求該距離小于100cm。所以，目前在立體視覺中采用的立體視覺系統及方法，對目標到傳感器的距離有一定要求，且要根據目標的復雜度進行圖像匹配也是一個容易產生誤差且費時的過程，并且影響重建精度。因此，本領域需要一種新型的深度恢復和三維重建系統及方法。

發明內容

本發明的目的在于提供一種基于PMD相機和攝像頭的彩色三維重建系統及方法，用于基于PMD相機和攝像頭實現彩色三維重建。

為了實現上述目的，本發明提供一種基于PMD相機和攝像頭的彩色三維重建系統，其特征在于，包括：

單獨標定模塊，用于對PMD相機、攝像頭進行標定，獲取所述PMD相機、所述攝像頭的內部參數、外部參數和畸變參數；

組合標定模塊，用于對所述PMD相機、所述攝像頭分別采集的圖像，根據所述內部參數、所述外部參數和所述畸變參數求解對應的校正后圖像、所述PMD相機、所述攝像頭坐標系之間的相對旋轉矩陣和平移向量；

三維重建模塊，用于選取所述校正后圖像中四個邊緣的像素點，并根據所述相對旋轉矩陣和平移向量求解在所述攝像頭上的對應點，獲得所述攝像頭采集的圖像中對應的圖像邊緣，并分割出后存儲為新的圖像。

所述的彩色三維重建系統，其中，所述單獨標定模塊還用于對所述內部參數、外部參數進行優化。

所述的彩色三維重建系統，其中，所述組合標定模塊還用于：當所述攝像頭、PMD相機上下固定后，從不同角度同時采集至少三張圖像，檢測出每張照片中的特征點，根據所述特征點并利用旋轉矩陣的正交性和所述內外參數和畸變參數，通過求解線性方程，求取所述相對旋轉矩陣和平移向量。

所述的彩色三維重建系統，其中，所述三維重建模塊采用以下方式獲取所述校正后圖像在所述攝像頭上的對應點：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T