[發明專利]基于無重疊視域的多相機系統的初始化方法、系統及裝置

有效

• 申請號: 202210536441.8
• 申請日: 2022-05-18
• 公開（公告）號: CN114638897B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 王一夫;張如高;虞正華
• 申請（專利權）人: 魔視智能科技（武漢）有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/77;G06T7/80
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 陳剛

1.一種基于無重疊視域的多相機系統的初始化方法，其特征在于，所述方法包括：

在車輛初始化過程中，針對相機拍攝的圖像數據，生成各幀圖像數據相對于第一幀圖像數據的車體相對旋轉；

基于所述車體相對旋轉，構建各幀圖像數據之間的約束關系，并從所述約束關系中求解特征點的坐標信息和車輛的位移，其中，按照以下公式構建各幀圖像數據之間的約束關系：

其中，表示第個相機拍攝的第幀圖像數據相對于第一幀圖像數據的車體相對旋轉，表示第個相機，表示第個特征點在相機的第一幀圖像數據下的相對深度，表示第個特征點在第幀圖像數據中的方向向量，表示第個相機拍攝的第幀圖像數據相對于第一幀圖像數據車體相對位移；

其中，利用預先標定好的相機外參數和，將車體相對旋轉代入上述的約束關系，以獲得第二約束關系：

基于所述第二約束關系構造非齊次線性方程組，其中：

表示當前相機拍攝的第幀圖像數據時刻相對于第一幀圖像數據時刻的車體相對旋轉，表示當前相機拍攝的第幀圖像數據時刻相對于第一幀圖像數據時刻的車體相對位移；

根據所述坐標信息和所述位移，構建特征點的視覺重投影殘差信息和相鄰圖像幀之間的慣性殘差信息；

對所述視覺重投影殘差信息和所述慣性殘差信息進行聯合優化，以生成優化后的車體坐標系的位姿信息和特征點的坐標信息。

2.根據權利要求1所述的方法，其特征在于，生成各幀圖像數據相對于第一幀圖像數據的車體相對旋轉包括：

從慣性系統中識別車體坐標系的第一相對旋轉，并從多相機系統中識別車體坐標系的第二相對旋轉；

將所述第一相對旋轉和所述第二相對旋轉進行融合，并對融合后的旋轉進行航跡推算，生成各幀圖像數據相對于第一幀圖像數據的車體相對旋轉。

3.根據權利要求2所述的方法，其特征在于，從慣性系統中識別車體坐標系的第一相對旋轉包括：

獲取慣性測量單元在所述車輛初始化過程中的慣性相對旋轉，并通過慣性坐標系到車體坐標系之間的旋轉外參，將所述慣性相對旋轉轉換為車體坐標系的第一相對旋轉。

4.根據權利要求1所述的方法，其特征在于，在車輛進入初始化過程之前，所述方法還包括：

在相機拍攝的圖像數據中，針對第一幀圖像數據中的目標特征點，在其它各幀圖像數據中識別與所述目標特征點相匹配的匹配特征點；

計算所述匹配特征點與所述目標特征點之間的位置誤差，若所述位置誤差小于或者等于指定誤差閾值，判定車輛當前處于靜止狀態；

當所述匹配特征點與所述目標特征點之間的位置誤差大于所述指定誤差閾值時，判定所述車輛進入車輛初始化過程。

5.根據權利要求1所述的方法，其特征在于，構建特征點的視覺重投影殘差信息包括：

識別特征點在相機坐標系下的估計值和觀測值，其中，所述估計值為特征點在圖像平面的投影；

將所述估計值和所述觀測值之間的平面距離作為構建的視覺重投影殘差信息。

6.根據權利要求1所述的方法，其特征在于，所述相鄰圖像幀之間的慣性殘差信息為相鄰圖像幀之間慣性測量單元的測量值與估計值的差值。