[發明專利]一種多目立體相機的校準及深度圖像處理方法

在審

• 申請號: 202010149137.9
• 申請日: 2020-03-05
• 公開（公告）號: CN111402309A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王磊;李嘉茂;朱冬晨;張曉林
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/80
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 鄧琪

本發明提供一種多目立體相機的校準及深度圖像處理方法，包括：在多目相機設備中選取基準相機和待修正相機，并獲取相應的基準相機圖像和對待修正相機圖像；根據所述基準相機圖像和對待修正相機圖像對所述待修正相機的內參量和外參量進行優化；得到最終的深度圖像。本發明的方法利用匹配特征的深度計算結果實現對相機參量的優化，使多個深度圖像的交界部分過渡平滑，可以根據優化的參量對未重合部分的深度圖像進行進一步的精化調整，并且通過不同雙目間的相互約束，保證最終深度結果一致性與穩定性。

技術領域

本發明涉及一種多目立體相機的數據處理技術，具體涉及一種多目立體相機的校準及深度圖像處理方法。

背景技術

現有的多目設備的特點是，所有相機的成像元件處于同一個平面且朝向相同。構成一組雙目相機的兩個相機所采用的成像器件及鏡頭焦距相同，兩相機呈水平或垂直排列。在這類多目相機中，基線長更長或者焦距更遠的雙目相機在遠距離目標距離檢測精度方面會體現更高的測量效果。具體的原理如圖1 所示。圖1給出了不同基線長的雙目相機測量范圍的示意圖，其中圖1示出了基線長較短的雙目相機，且圖1示出了基線長較長的雙目相機。中間梯形區域為測量范圍的示意效果(理論上可以測量無限遠的范圍，但由于遠距離部分精度極度下降一般不采用該計算結果)，在該梯形中距離相機越近的部分精度也越高。長焦距的效果與長基線效果類似。由此，通過不同基線或者焦距的雙目組合而成的多目立體相機可以測量前后更廣的范圍。

基于上述原理，現有技術中的多目立體相機的一種常見設計如圖2所示，由四個相機構成的四目相機，圖中相機110和相機120設備構成一組雙目相機，相機130和相機140設備構成另一組雙目相機，特點是構成雙目相機的兩個設備的成像元件及鏡頭需要一致，但不同雙目相機的相機間隔(基線長)和視野范圍(鏡頭焦距)可以不同，圖中相機110和相機120構成的雙目的基線長為 B1，鏡頭焦距為F1，而相機130和相機140構成的雙目的基線長為B2，鏡頭焦距為F2。上述設計的目的在于能夠覆蓋更廣范圍內雙目相機的三維測算精度，不同基線或者焦距的雙目組合而成的多目立體相機可以測量前后更廣的范圍，即相機110與相機120構成的雙目相機用于測量近距離物體深度，相機130 和相機140構成的雙目相機測量中遠距離的物體深度，最終兩者結果合成輸出覆蓋近、中、遠范圍且測量精度較好的深度數據結果。

如圖3所示，現有技術中的多目立體相機的另外一種常見設計為三目結構，例如Bumblebee三目視覺相機產品，左相機210和中間相機220構成一組雙目，左相機210與右相機230構成另一組雙目，由此構成兩組雙目相機。左相機為兩組相機共用的設備，一般情況三個相機采用相同的成像器件以及焦距，兩組雙目相機的基線長B1、B2不同，焦距F相同。

如圖4A-圖4C所示，目前，在對多組雙目相機的深度結果進行融合時，容易出現以下問題。圖4A為采用不同基線長的多組雙目相機對目標物體Obj 進行測量，其中中間兩個相機構成短基線雙目，外側兩個相機構成長基線雙目，兩者的測量結果示意圖如圖4B所示，圖中虛線為實際物體的深度結果，由于標定誤差等因素的存在，兩組測量的結果均與真實結果有所差異，且通過對測量精度相關參數的限制，兩者均未能檢測出全部Obj范圍內的深度結果，短基線雙目缺失了遠距離部分的測量結果(精度閾值限制)，長基線雙目缺失了近距離部分測量結果(視差范圍限制)，簡單將兩者疊加融合的結果如圖4C所示，在范圍重合的中距離區域，不同雙目測量的結果不同將導致數據歧義。