[發明專利]一種雙目魚眼相機的視覺SLAM方法和系統

在審

• 申請號: 202211579115.1
• 申請日: 2022-12-08
• 公開（公告）號: CN115731235A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 北京數字綠土科技股份有限公司;武漢綠土圖景科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/246;G06T7/73;G06T5/00
• 代理公司: 北京繪聚高科知識產權代理事務所(普通合伙) 11832
• 代理人: 羅碩

本發明公開一種雙目魚眼相機的視覺SLAM方法和系統，其中，雙目魚眼相機的視覺SLAM方法包括：實時獲取雙目魚眼相機的視覺圖像，提取視覺圖像的視覺特征點；根據視覺特征點在當前幀和前一幀視覺圖像的像素位置計算視覺特征點的移動速度；根據視覺特征點的移動速度計算視覺特征點的視差；根據視覺特征點的視差與預設視差閾值的大小關系提取當前幀視覺圖像的殘差信息；根據雙目魚眼相機與IMU的外參變換矩陣變換當前幀視覺圖像的殘差信息，得到IMU坐標系下視覺圖像的殘差信息；使用視覺圖像的殘差信息校正雙目魚眼相機的視覺圖像。本發明的技術方案能解決現有技術中多個單目相機通過SLAM技術得到的圖像，精確度不夠，計算出來的載體位姿不確定性高的問題。

技術領域

本發明涉及雙目視覺技術領域，尤其涉及一種雙目魚眼相機的視覺SLAM方法和系統。

背景技術

SLAM(SimultaneousLocalizationandMapping，同步定位與制圖)技術，是指搭載特定傳感器的主體，能夠在對周圍環境未知的情況下，在運動過程中建立周圍環境的模型，同時估計設備自身的運動，因此廣泛應用于雷達掃描、地圖測繪和傳感器監測等領域。就不同SLAM傳感器而言，SLAM技術通常分為兩類：若傳感器是激光雷達，則稱為激光SLAM；如果傳感器為相機，則稱為視覺SLAM。

在視覺SLAM中，常用的相機有RGBD相機、單目相機和雙目相機，這三種相機各有優缺點。其中，單目相機的傳感器結構簡單且成本低廉，僅使用幾個攝像頭就能夠完成SLAM過程，但是單目相機又存在視野狹窄和尺度不確定的問題；RGBD相機通過紅外結構光或TOF原理，能夠直接測出圖像中各像素的距離，從而解決單目相機的視野狹窄和尺寸不確定問題，但是其功耗大，成本高且存在易受干擾的問題。因此現有技術中通常采用雙目相機進行視覺SLAM的過程。雙目相機在運動和靜止時均能夠估計深度，并且消除了單目相機的視覺的尺度不確定問題。

雖然雙目相機相比單目相機有較大的視場角，其觀測到的周圍環境信息更加豐富，但是目前市面上雙目相機的視場角大多同側安裝，只有100多度，例如市場熟知的ZED2(110°(H)x70°(V)x120°(D))，T265(163°Fov(±5°))?；诖爽F象，很多研究人員為了擴大視野，采用多個單目相機進行圖像拼接，以達到360°全景，例如自主泊車視覺方案就采用了多個單目相機，這無疑會增加計算量，而且多個相機圖像的拼接難免會出現誤差，反而會導致多個單目相機的SLAM技術得到的圖像，精確度不夠，位置偏移明顯，其計算出來的載體位姿不確定性增加。

發明內容

本發明提供一種雙目魚眼相機的視覺SLAM方案，旨在解決現有技術提供的雙目相機視野狹窄，多個單目相機通過SLAM技術得到的圖像，精確度不夠，計算出來的載體位姿不確定性高的問題。

為實現上述目的，根據本發明的第一方面，本發明提出了一種雙目魚眼相機的視覺SLAM方法，包括：

實時獲取雙目魚眼相機的視覺圖像，提取視覺圖像的視覺特征點；

根據視覺特征點在當前幀視覺圖像和前一幀視覺圖像的像素位置，計算視覺特征點的移動速度；

根據視覺特征點的移動速度，計算視覺特征點的視差；

根據視覺特征點的視差與預設視差閾值的大小關系，提取當前幀視覺圖像的殘差信息；

根據雙目魚眼相機與IMU的外參變換矩陣，變換當前幀視覺圖像的殘差信息，得到IMU坐標系下視覺圖像的殘差信息；

使用視覺圖像的殘差信息，校正雙目魚眼相機的視覺圖像。

優選的，上述視覺SLAM方法中，提取視覺圖像的視覺特征點的步驟包括：

提取當前幀視覺圖像的多個視覺特征點；

使用當前幀視覺圖像的視覺特征點，追蹤前一幀視覺圖像中相匹配的視覺特征點；