[發明專利]一種基于對偶結構光RGB-D相機的深度信息采集系統

有效

• 申請號: 201910054459.2
• 申請日: 2019-01-21
• 公開（公告）號: CN109741405B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 陳啟軍;王德明;周光亮;顏熠;李勇奇;劉成菊
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于對偶結構光RGB-D相機的深度信息采集系統，其特征在于，包括：

對偶結構光RGB-D相機結構：包括呈180度對稱設置的兩個結構光RGB-D子相機；

RGB-D相機標定模塊：用以根據非對稱標定板實現結構光RGB-D相機內參和畸變參數以及彩色相機與深度相機之間的外參標定，所述的RGB-D相機標定模塊中的標定方法包括以下步驟：

21)標定彩色相機內參以及畸變參數，具體為：

采用不對稱圓盤標定板根據張正有標定法獲取彩色相機內參以及畸變參數；

22)標定深度相機內參以及畸變參數，具體為：

開啟結構光RGB-D子相機的紅外模式，采集紅外圖像檢測不對稱圓盤標定板，采用張正有標定法獲取深度相機的內參及畸變參數；

23)標定彩色相機和深度相機之間的齊次變換關系，具體為：

231)將不對稱圓盤標定板放在彩色相機和深度相機下，使彩色相機和深度相機能夠同時檢測到標定板；

232)分別根據各自的內參和畸變參數計算出標定板的位姿和并計算彩色相機和深度相機之間的齊次變換矩陣

其中，為4×4的齊次變換矩陣，表示標定板在彩色相機坐標系下的位姿，表示標定板在深度相機坐標系下的位姿，為深度相機坐標系變換到標定板坐標系的齊次變換矩陣；

多源深度信息獲取模塊：通過異步方式獲得兩個子相機的兩張原始深度圖像，同時利用兩個相機獲取的彩色圖像構成雙目生成第三張深度圖；

多源深度信息處理模塊：用以實現三張深度圖與彩色圖像的對齊，根據填補算法對三張深度圖像進行處理，初步解決信息缺失和空洞現象，再利用圖像融合算法將三張深度圖進行融合，并將對齊的彩色圖像和融合后的深度圖像作為最終系統的輸出。

2.根據如權利要求1所述的一種基于對偶結構光RGB-D相機的深度信息采集系統，其特征在于，所述的多源深度信息獲取模塊生成三張深度圖的具體步驟為：

31)通過異步方式獲得兩個子相機的深度相機采集的兩張原始深度圖像；

32)獲取兩個子相機的彩色相機采集的兩張彩色圖像，并根據標定結果分別對兩張彩色圖像進行校準使兩張彩色圖像的極線對齊；

33)對極線對齊后的兩張彩色圖像通過ELSA匹配算法得到視差圖；

34)通過視差圖獲取第三張深度圖。

3.根據如權利要求2所述的一種基于對偶結構光RGB-D相機的深度信息采集系統，其特征在于，所述的步驟34)中，通過視差圖得到深度圖的公式為：

其中，z為深度，f為相機焦距，B為基線長度，d為視差，上標{T,R}為上相機的RGB攝像頭。

4.根據如權利要求1所述的一種基于對偶結構光RGB-D相機的深度信息采集系統，其特征在于，所述的多源深度信息處理模塊的具體實現步驟為：

41)將每個子相機生成的深度圖與輸出的彩色圖進行對齊，具體為：

遍歷深度圖中每個點的圖像坐標，將其反投影變換為實際三維空間中的一點，再將該點坐標變換到彩色相機坐標系下，最后通過彩色相機的內參將該點在彩色相機坐標系下的三維坐標投影變換為彩色圖像上的二維坐標；

42)分別對三張待融合的深度圖進行深度信息鄰域填補后進行深度信息融合，具體為：

對整張深度圖進行像素的遍歷，檢查缺失信息的像素點周圍的深度信息，當其四個角上都有有效深度信息時，并且周圍有效深度信息的極值小于設定閾值，則將周圍有效深度信息的均值填充該缺失信息的像素點，并通過線性疊加得到融合后的深度圖像。

5.根據如權利要求4所述的一種基于對偶結構光RGB-D相機的深度信息采集系統，其特征在于，所述的步驟42)中，融合后的深度圖像中每個像素點的深度信息d_fuse為：

其中，d_left為上相機深度圖的深度信息，d_right為下相機深度圖的深度信息，d_stereo為雙目匹配深度圖的深度信息，w₁、w₂、w₃分別為上相機深度圖、下相機深度圖以及雙目匹配深度圖的權重。