[發(fā)明專利]一種雙目魚眼相機的視覺SLAM方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211579115.1
• 申請日: 2022-12-08
• 公開（公告）號: CN115731235A
• 公開（公告）日: 2023-03-03
• 發(fā)明（設(shè)計）人: 請求不公布姓名
• 申請（專利權(quán)）人: 北京數(shù)字綠土科技股份有限公司;武漢綠土圖景科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/246;G06T7/73;G06T5/00
• 代理公司: 北京繪聚高科知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11832
• 代理人: 羅碩

1.一種雙目魚眼相機的視覺SLAM方法，其特征在于，包括：

實時獲取雙目魚眼相機的視覺圖像，提取所述視覺圖像的視覺特征點；

根據(jù)所述視覺特征點在當(dāng)前幀視覺圖像和前一幀視覺圖像的像素位置，計算所述視覺特征點的移動速度；

根據(jù)所述視覺特征點的移動速度，計算所述視覺特征點的視差；

根據(jù)所述視覺特征點的視差與預(yù)設(shè)視差閾值的大小關(guān)系，提取所述當(dāng)前幀視覺圖像的殘差信息；

根據(jù)所述雙目魚眼相機與IMU的外參變換矩陣，變換所述當(dāng)前幀視覺圖像的殘差信息，得到IMU坐標系下所述視覺圖像的殘差信息；

使用所述視覺圖像的殘差信息，校正所述雙目魚眼相機的視覺圖像。

2.根據(jù)權(quán)利要求1所述的視覺SLAM方法，其特征在于，所述提取視覺圖像的視覺特征點的步驟，包括：

提取所述當(dāng)前幀視覺圖像的多個視覺特征點；

使用所述當(dāng)前幀視覺圖像的視覺特征點，追蹤前一幀視覺圖像中相匹配的視覺特征點；

使用F矩陣校驗所述前一幀視覺圖像的視覺特征點，篩除所述前一幀視覺圖像中匹配錯誤的視覺特征點；

對所述前一幀視覺圖像中匹配成功的視覺特征點進行去畸變處理，得到坐標修正后的所述視覺特征點。

3.根據(jù)權(quán)利要求2所述的視覺SLAM方法，其特征在于，所述追蹤前一幀視覺圖像中相匹配的視覺特征點的步驟之后，所述方法還包括：

當(dāng)所述前一幀視覺圖像的視覺特征點匹配失敗時，設(shè)置與所述當(dāng)前幀視覺圖像大小相同的空白圖像；

計算所述空白圖像對應(yīng)于匹配失敗的視覺特征點的像素位置；

在所述空白圖像中所述像素位置的周圍預(yù)定距離范圍外的空白區(qū)域內(nèi)，追蹤得到與所述匹配失敗的視覺特征點相匹配的視覺特征點，作為所述前一幀視覺圖像中的視覺特征點。

4.根據(jù)權(quán)利要求1所述的視覺SLAM方法，其特征在于，所述根據(jù)所述視覺特征點在當(dāng)前幀視覺圖像和前一幀視覺圖像的像素位置，計算所述視覺特征點的移動速度的步驟，包括：

獲取所述當(dāng)前幀視覺圖像與前一幀視覺圖像的間隔時間；

根據(jù)所述當(dāng)前幀視覺圖像的視覺特征點的像素位置和所述前一幀視覺圖像的像素位置，計算所述視覺特征點的移動距離；

使用所述視覺特征點的移動距離和所述間隔時間，計算得到所述視覺特征點的移動速度。

5.根據(jù)權(quán)利要求1所述的視覺SLAM方法，其特征在于，所述根據(jù)所述視覺特征點的移動速度，計算所述視覺特征點的視差的步驟，包括：

根據(jù)所述視覺特征點的移動速度，計算所有所述視覺特征點在相鄰兩幀視覺圖像中的坐標差值之和；

計算所有視覺特征點的坐標差值之和的平均值，得到所述視覺特征點的視差。

6.根據(jù)權(quán)利要求1或5所述的視覺SLAM方法，其特征在于，所述根據(jù)所述視覺特征點的視差與預(yù)設(shè)視差閾值的大小關(guān)系，提取所述當(dāng)前幀視覺圖像的殘差信息的步驟，包括：

判斷所述視覺特征點的視差是否大于或等于預(yù)設(shè)視差閾值；

若所述視覺特征點的視差大于或等于預(yù)設(shè)視差閾值，則計算當(dāng)前幀視覺圖像與前一幀視覺圖像的IMU預(yù)積分速度增量差值；

判斷所述IMU預(yù)積分速度增量差值的二范數(shù)是否大于預(yù)定增量差閾值；

若所述IMU預(yù)積分速度增量差值的二范數(shù)大于所述預(yù)定增量差閾值，則將當(dāng)前幀圖像設(shè)置為關(guān)鍵幀，使用滑動窗口提取所述關(guān)鍵幀的殘差信息。

7.根據(jù)權(quán)利要求1所述的視覺SLAM方法，其特征在于，在所述提取當(dāng)前幀視覺圖像的殘差信息的步驟之后，所述方法還包括：

初始化所述雙目魚眼相機中任一目相機的相機參數(shù)；

使用所述雙目魚眼相機的相對位姿關(guān)系，更新所述雙目魚眼相機中另一目相機的殘差信息，得到更新后的所述當(dāng)前幀視覺圖像的殘差信息。