[發(fā)明專利]一種單目VIO系統(tǒng)的前端里程計(jì)算法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011503383.6
• 申請(qǐng)日: 2020-12-17
• 公開(kāi)（公告）號(hào): CN112633122A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 王云峰;溫舒涵;傅松祥
• 申請(qǐng)（專利權(quán)）人: 廈門(mén)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T7/246;G06T7/254
• 代理公司: 成都魚(yú)爪智云知識(shí)產(chǎn)權(quán)代理有限公司 51308
• 代理人: 代述波

本發(fā)明提出了一種單目VIO系統(tǒng)的前端里程計(jì)算法及系統(tǒng)，涉及計(jì)算機(jī)視覺(jué)領(lǐng)域。一種單目VIO系統(tǒng)的前端里程計(jì)算法包括：S1、調(diào)用從所有圖像提取出的特征點(diǎn)，判斷滑窗內(nèi)圖片是否計(jì)算完畢，若不是則進(jìn)入S2，若是則進(jìn)入S3；S2、對(duì)滑窗內(nèi)的所有幀進(jìn)行操作，根據(jù)跟蹤到的特征點(diǎn)數(shù)目以及視差，按權(quán)重計(jì)算評(píng)分；S3、從備選幀序列中選擇評(píng)分最高的幀作為參考幀；S4、計(jì)算參考幀和最新幀的相對(duì)位姿。其能夠在初始化選取參考幀時(shí)，適當(dāng)提升共視特征的權(quán)重可以使初始化過(guò)程具有更高的精度和魯棒性。此外本發(fā)明還提出了一種單目VIO系統(tǒng)的前端里程計(jì)算系統(tǒng)，包括：調(diào)用模塊、第一計(jì)算模塊、選取模塊以及第二計(jì)算模塊。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體而言，涉及一種單目VIO系統(tǒng)的前端里程計(jì)算法及系統(tǒng)。

背景技術(shù)

單目VIO技術(shù)旨在同時(shí)定位與地圖構(gòu)建，其初始化過(guò)程從一個(gè)純視覺(jué)結(jié)構(gòu)開(kāi)始，首先選擇兩個(gè)包含足夠共視特征與視差的參考幀。然后使用五點(diǎn)法來(lái)恢復(fù)這兩個(gè)幀之間的相對(duì)旋轉(zhuǎn)和按比例平移。最后基于這兩個(gè)幀所恢復(fù)出的特征估計(jì)所有幀的姿態(tài)。也就是說(shuō)，初始化中所有幀的位姿和狀態(tài)都由參考幀三角化特征點(diǎn)后得到。因此，參考幀的質(zhì)量影響著整個(gè)系統(tǒng)的精度。

具體而言：僅考慮視覺(jué)初始化部分時(shí)，單目VIO在初始時(shí)能獲得的只有連續(xù)圖像，首先對(duì)圖像進(jìn)行提取特征點(diǎn)，提取的特征點(diǎn)數(shù)量和同一特征點(diǎn)在圖像間的視差變換關(guān)系描述了圖像本身的特征和圖像之間的關(guān)系。初始化的目的就在于，通過(guò)特征點(diǎn)，計(jì)算出每幀圖像之間的位姿關(guān)系，也就是假設(shè)有連續(xù)n幀圖像，以第一幀為世界坐標(biāo)原點(diǎn)建立坐標(biāo)系，計(jì)算出第二幀至第n幀相對(duì)第一幀的坐標(biāo)，通過(guò)這個(gè)坐標(biāo)可以將第n幀圖像旋轉(zhuǎn)到第一幀下。這個(gè)坐標(biāo)的表現(xiàn)形式，我們通過(guò)一個(gè)旋轉(zhuǎn)和一個(gè)平移來(lái)確定(即旋轉(zhuǎn)為R，平移為t)，設(shè)想將一個(gè)物體隨意拋至空中，在空中某個(gè)位置，物體的變化包括兩個(gè)部分：其本身的姿態(tài)，和物體相對(duì)原位置空間位置發(fā)生了改變。旋轉(zhuǎn)表示的是姿態(tài)，平移表示的是空間位置。

在目前的方法，如VINS-Mono中，對(duì)于參考幀的選取策略是：采用首個(gè)同時(shí)滿足視差和共視特征的幀作為參考幀，沒(méi)有針對(duì)參考幀的質(zhì)量對(duì)整個(gè)系統(tǒng)的影響進(jìn)行研究。但實(shí)際上，同時(shí)滿足這兩個(gè)要求的幀很有可能不止一幀，根據(jù)SFM初始化中對(duì)極約束和三角化的公式，顯然選擇首個(gè)滿足條件的幀并不能使系統(tǒng)達(dá)到最佳性能，通過(guò)我們的實(shí)驗(yàn)可以證明，參考幀的質(zhì)量對(duì)整個(gè)VIO系統(tǒng)的精度具備很大的影響，同時(shí)依據(jù)上述方法選取出的參考幀不具備最佳性能。我們的算法通過(guò)調(diào)整視差和共視特征的關(guān)系顯著提升了整個(gè)單目VIO系統(tǒng)的精度。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種單目VIO系統(tǒng)的前端里程計(jì)算法，其能夠在初始化選取參考幀時(shí)，適當(dāng)提升共視特征的權(quán)重可以使初始化過(guò)程具有更高的精度和魯棒性。

本發(fā)明的另一目的在于提供一種單目VIO系統(tǒng)的前端里程計(jì)算系統(tǒng)，其能夠運(yùn)行一種單目VIO系統(tǒng)的前端里程計(jì)算法。

本發(fā)明的實(shí)施例是這樣實(shí)現(xiàn)的：

第一方面，本申請(qǐng)實(shí)施例提供一種單目VIO系統(tǒng)的前端里程計(jì)算法，其包括S1、調(diào)用從所有圖像提取出的特征點(diǎn)，判斷滑窗內(nèi)圖片是否計(jì)算完畢，若不是則進(jìn)入S2，若是則進(jìn)入S3；S2、對(duì)滑窗內(nèi)的所有幀進(jìn)行操作，根據(jù)跟蹤到的特征點(diǎn)數(shù)目以及視差，按權(quán)重計(jì)算評(píng)分；S3、從備選幀序列中選擇評(píng)分最高的幀作為參考幀；S4、計(jì)算參考幀和最新幀的相對(duì)位姿。

在本發(fā)明的一些實(shí)施例中，上述調(diào)用從所有圖像提取出的特征點(diǎn)，判斷滑窗內(nèi)圖片是否計(jì)算完畢包括：將新來(lái)圖像加入滑窗中，從滑窗中倒數(shù)第二幀開(kāi)始，從后至前判斷當(dāng)前幀是否滿足要求，若滿足要求，則記錄該幀的序號(hào)，跟蹤到的特征點(diǎn)數(shù)目以及視差。

在本發(fā)明的一些實(shí)施例中，上述對(duì)滑窗內(nèi)的所有幀進(jìn)行操作包括：對(duì)當(dāng)前幀和滑窗中最后一幀進(jìn)行特征點(diǎn)匹配，判斷匹配得到的特征點(diǎn)數(shù)量是否大于設(shè)置的最小閾值，若不是，則對(duì)滑窗內(nèi)的所有幀進(jìn)行操作。

在本發(fā)明的一些實(shí)施例中，上述還包括若是，則計(jì)算平均視差，對(duì)當(dāng)前幀進(jìn)行評(píng)分，加入備選幀序列。