[發(fā)明專利]一種多目立體相機的校準及深度圖像處理方法

在審

• 申請?zhí)枺?/td>: 202010149137.9
• 申請日: 2020-03-05
• 公開（公告）號: CN111402309A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設計）人: 王磊;李嘉茂;朱冬晨;張曉林
• 申請（專利權）人: 中國科學院上海微系統(tǒng)與信息技術研究所
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/80
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 鄧琪

1.一種多目立體相機的校準及深度圖像處理方法，其特征在于，包括：

步驟S1：在多目相機設備中選取基準相機和待修正相機，并獲取相應的基準相機圖像和對待修正相機圖像；

步驟S2：根據所述基準相機圖像和對待修正相機圖像對所述待修正相機的內參量和外參量進行優(yōu)化；

步驟S3：得到最終的深度圖像。

2.根據權利要求1所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述內參量包括焦距，所述外參量包括雙目相機的基線長和輻輳角；

所述步驟S2包括：

步驟S21：對其中一個基準相機圖像和其中一個待修正相機圖像分別進行特征提取；

步驟S22：對所述特征進行特征匹配查找，若成功匹配，則將該特征記為匹配特征，并獲取該匹配特征的深度計算結果，所述匹配特征的深度計算結果包括該匹配特征的基準測量距離和該匹配特征的待修正雙目視差值；

步驟S23：采用所有匹配特征的深度計算結果，通過非線性優(yōu)化方法對所述待修正相機的內參量和外參量進行優(yōu)化。

3.根據權利要求2所述的多目立體相機的校準及深度圖像處理方法，其特征在于，在所述步驟S23中，所述所有匹配特征的深度計算結果被構建為兩個深度數據集合，分別為所有匹配特征的基準測量距離的集合和所有匹配特征的待修正雙目視差值的集合。

4.根據權利要求2所述的多目立體相機的校準及深度圖像處理方法，其特征在于，在所述步驟S23中，在對所述待修正相機的內參量和外參量進行優(yōu)化時，內參量和外參量的修正量為：

其中，z_iA為匹配特征i的基準測量距離，f_B為待修正相機的焦距，Δf為待修正相機的焦距的修正量，v_B為待修正相機的基線長，Δb為待修正相機的基線長的修正量，d_iB為匹配特征i的待修正雙目視差值，Δd為雙目視差值的修正量；

且所述輻輳角的修正量為arctan(Δd/f)，其中，Δd為雙目視差值的修正量，f為待修正相機的焦距。

5.根據權利要求4所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述待修正相機的焦距的修正量Δf和待修正相機的基線長的修正量Δb的其中一個設置為0。

6.根據權利要求2所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述步驟S22還包括：根據所述基準相機圖像獲取該匹配特征的基準雙目視差值，根據所述待修正相機圖像獲取該匹配特征的待修正雙目視差值，隨后根據所述基準相機的內參量和外參量以及該匹配特征的基準雙目視差值計算得到匹配特征的基準測量距離。

7.根據權利要求2所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述步驟S1還包括：根據所述基準相機圖像獲取基準視差圖，根據所述待修正相機圖像獲取待修正視差圖，所述基準視差圖和待修正視差圖分別包括圖像中的各個目標點的基準雙目視差值和待修正雙目視差值，隨后根據所述基準相機的內參量和外參量以及基準視差圖計算得到一基準深度圖像，作為當前深度圖像；

在所述步驟S22中，所述匹配特征的基準測量距離通過所述基準深度圖像得到。

8.根據權利要求7所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述步驟S1還包括：設置所述基準相機與待修正相機的深度重合范圍，并根據待修正相機的內參量和外參量及所述待修正視差圖計算一待修正深度圖像；

且所述步驟S21還包括：分別從提取的特征中篩選出在對應的基準深度圖像和對應的待修正深度圖像中處于深度重合范圍內的特征。

9.根據權利要求8所述的多目立體相機的校準及深度圖像處理方法，其特征在于，所述深度重合范圍的最近及最遠距離閾值根據基準相機與待修正相機的精度、視差范圍的閾值，獲得基準相機與待修正相機的各自的測量范圍的最近及最遠距離，從而計算并設置；或者根據經驗設置。