[發(fā)明專利]一種視覺慣導(dǎo)設(shè)備的位姿跟蹤方法、裝置及視覺慣導(dǎo)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911354390.1
• 申請(qǐng)日: 2019-12-25
• 公開（公告）號(hào): CN113034538B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 毛洋;宋江新;毛慧;浦世亮
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;丁蕓

本申請(qǐng)實(shí)施例提供了一種視覺慣導(dǎo)設(shè)備的位姿跟蹤方法、裝置及視覺慣導(dǎo)設(shè)備，由于在紋理稀疏的特殊場(chǎng)景下，當(dāng)前幀的視覺約束關(guān)系相對(duì)較弱，上一幀對(duì)應(yīng)的設(shè)備位姿會(huì)受慣性約束關(guān)系影響較大，本申請(qǐng)實(shí)施例中，除了當(dāng)前幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第一視覺約束關(guān)系、當(dāng)前幀與上一幀之間的慣性約束關(guān)系和上一幀之前的歷史幀對(duì)上一幀的先驗(yàn)約束關(guān)系以外，還需利用上一幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第二視覺約束關(guān)系，以增大上一幀歷史觀測(cè)的實(shí)際影響，令其在當(dāng)前幀優(yōu)化時(shí)的波動(dòng)較小，提高了紋理稀疏場(chǎng)景下的設(shè)備位姿跟蹤精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別是涉及一種視覺慣導(dǎo)設(shè)備的位姿跟蹤方法、裝置及視覺慣導(dǎo)設(shè)備。

背景技術(shù)

實(shí)時(shí)跟蹤設(shè)備在未知環(huán)境中的位置與姿態(tài)問題，是增強(qiáng)現(xiàn)實(shí)、虛擬實(shí)現(xiàn)、導(dǎo)航與控制、移動(dòng)機(jī)器人、無(wú)人駕駛、無(wú)人機(jī)等領(lǐng)域的核心問題之一。作為解決此類問題的常用方法，SLAM(Simultaneous?Localization?and?Mapping，即時(shí)定位與地圖構(gòu)建)在機(jī)器人學(xué)和計(jì)算機(jī)視覺等相關(guān)領(lǐng)域被廣泛研究。采用SLAM技術(shù)的設(shè)備能夠在自身位置不確定的條件下，在完全未知的環(huán)境中創(chuàng)建地圖，同時(shí)利用地圖進(jìn)行自主定位和導(dǎo)航。

最近，基于計(jì)算機(jī)視覺和慣性測(cè)量單元融合的定位算法，由于成本低、精度高、互補(bǔ)性強(qiáng)等特點(diǎn)收到越來(lái)越多的關(guān)注。這種利用設(shè)備本身的圖像采集單元和IMU(InertialMeasurement?Unit，慣性測(cè)量單元)采集的信息，進(jìn)行實(shí)時(shí)設(shè)備位置和姿態(tài)跟蹤的方法，統(tǒng)稱為視覺慣性里程計(jì)，這種設(shè)備稱為視覺慣導(dǎo)設(shè)備。

當(dāng)前的視覺慣導(dǎo)設(shè)備的位姿跟蹤方法中，主要包括通過(guò)圖像采集設(shè)備實(shí)時(shí)采集圖像數(shù)據(jù)、通過(guò)IMU實(shí)時(shí)采集慣性數(shù)據(jù)，并根據(jù)圖像數(shù)據(jù)和慣性數(shù)據(jù)建立初始空間三維地圖，在采集到新的圖像數(shù)據(jù)后，對(duì)空間三維地圖進(jìn)行實(shí)時(shí)更新，利用當(dāng)前圖像特征點(diǎn)與三維地圖點(diǎn)對(duì)應(yīng)的視覺約束關(guān)系、圖像幀之間特征匹配約束關(guān)系和圖像幀間IMU的約束信息來(lái)確定當(dāng)前時(shí)刻設(shè)備的位姿。

上述方法主要針對(duì)視覺慣性融合的一般性場(chǎng)景和系統(tǒng)框架，然而在紋理稀疏的特殊場(chǎng)景下，由于當(dāng)前幀視覺約束較弱，當(dāng)前幀的位姿跟蹤會(huì)通過(guò)慣性約束引起上一幀位姿的較大波動(dòng)，進(jìn)而導(dǎo)致視覺慣導(dǎo)設(shè)備的位姿跟蹤精度較差。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種視覺慣導(dǎo)設(shè)備的位姿跟蹤方法、裝置及視覺慣導(dǎo)設(shè)備，以提高紋理稀疏的特殊場(chǎng)景下視覺慣導(dǎo)設(shè)備的位姿跟蹤精度。

具體技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種視覺慣導(dǎo)設(shè)備的位姿跟蹤方法，該方法包括：

獲取圖像采集單元采集的當(dāng)前幀，以及慣性測(cè)量單元采集的當(dāng)前慣性數(shù)據(jù)；

將三維地圖中的地圖點(diǎn)投影至當(dāng)前幀，確定當(dāng)前幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第一視覺約束關(guān)系；獲取當(dāng)前幀的上一幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第二視覺約束關(guān)系；根據(jù)當(dāng)前慣性數(shù)據(jù)，確定當(dāng)前幀與上一幀之間的慣性約束關(guān)系；獲取上一幀之前的歷史幀對(duì)上一幀的先驗(yàn)約束關(guān)系；

利用第一視覺約束關(guān)系、第二視覺約束關(guān)系、慣性約束關(guān)系及先驗(yàn)約束關(guān)系，確定視覺慣導(dǎo)設(shè)備的當(dāng)前位姿。

可選的，在將三維地圖中的地圖點(diǎn)投影至當(dāng)前幀，確定當(dāng)前幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第一視覺約束關(guān)系；獲取當(dāng)前幀的上一幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第二視覺約束關(guān)系；根據(jù)當(dāng)前慣性數(shù)據(jù)，確定當(dāng)前幀與上一幀之間的慣性約束關(guān)系；獲取上一幀之前的歷史幀對(duì)上一幀的先驗(yàn)約束關(guān)系的步驟之前，該方法還包括：

統(tǒng)計(jì)當(dāng)前幀中特征點(diǎn)的數(shù)目；

將三維地圖中的地圖點(diǎn)投影至當(dāng)前幀，確定當(dāng)前幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第一視覺約束關(guān)系；獲取當(dāng)前幀的上一幀中特征點(diǎn)與三維地圖中地圖點(diǎn)對(duì)應(yīng)的第二視覺約束關(guān)系；根據(jù)當(dāng)前慣性數(shù)據(jù)，確定當(dāng)前幀與上一幀之間的慣性約束關(guān)系；獲取上一幀之前的歷史幀對(duì)上一幀的先驗(yàn)約束關(guān)系的步驟，包括：