[發(fā)明專利]結(jié)合目標(biāo)檢測(cè)和語(yǔ)義分割的圖像配準(zhǔn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910203512.0
• 申請(qǐng)日: 2019-03-18
• 公開(kāi)（公告）號(hào): CN110097584B
• 公開(kāi)（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 王文;陳彤;湯億則;王紅凱;周晨軼;徐亦白;盧杉;包迅格
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)浙江省電力有限公司信息通信分公司
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T7/10
• 代理公司: 杭州華鼎知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 魏亮

本實(shí)施例提出了結(jié)合目標(biāo)檢測(cè)和語(yǔ)義分割的圖像配準(zhǔn)方法，包括從傳感器數(shù)據(jù)中獲取待處理圖像，借助實(shí)時(shí)目標(biāo)檢測(cè)算法截取待處理圖像中的關(guān)鍵區(qū)域；對(duì)關(guān)鍵區(qū)域中進(jìn)行尺度不變特征變換，得到關(guān)鍵區(qū)域中的特征點(diǎn)；基于語(yǔ)義信息對(duì)關(guān)鍵區(qū)域進(jìn)行語(yǔ)義分割，實(shí)現(xiàn)將關(guān)鍵區(qū)域中的特征點(diǎn)進(jìn)行歸類，定義針對(duì)每一類語(yǔ)義信息項(xiàng)誤差函數(shù)，結(jié)合視覺(jué)里程計(jì)原有框架中的誤差函數(shù)得到總體誤差函數(shù)；對(duì)總體誤差函數(shù)進(jìn)行基于似然域模型的優(yōu)化處理，當(dāng)誤差最小時(shí)完成圖像配準(zhǔn)。通過(guò)對(duì)關(guān)鍵區(qū)域采用提取關(guān)鍵點(diǎn)的處理方式能夠減小提取和匹配的范圍。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺(jué)定位領(lǐng)域。尤其涉及結(jié)合目標(biāo)檢測(cè)和語(yǔ)義分割的圖像配準(zhǔn)方法。

背景技術(shù)

虛實(shí)配準(zhǔn)技術(shù)是增強(qiáng)現(xiàn)實(shí)應(yīng)用需要完成的第一步，其核心技術(shù)理論為即時(shí)定位和建圖技術(shù)，即SLAM技術(shù)，其在機(jī)器人、自動(dòng)駕駛、虛擬與增強(qiáng)現(xiàn)實(shí)領(lǐng)域有著廣泛的應(yīng)用。尤其是在自動(dòng)駕駛領(lǐng)域，近年來(lái)，國(guó)內(nèi)外多家公司投入大量人力、物力來(lái)進(jìn)行算法研發(fā)。自身定位和環(huán)境建圖是無(wú)人駕駛的關(guān)鍵所在。魯棒而快速的環(huán)境識(shí)別以及精確的相機(jī)定位至關(guān)重要。傳統(tǒng)的視覺(jué)里程計(jì)(VO)建立圖像間像素級(jí)別的聯(lián)系，并由此進(jìn)行建圖，位姿追蹤等。在視覺(jué)里程計(jì)通過(guò)像素點(diǎn)匹配和多視圖幾何關(guān)系，計(jì)算幀與幀間的位姿的過(guò)程中，像素點(diǎn)匹配本身存在不小的誤差，依據(jù)該匹配求解出的相鄰幀位姿也將存在一定的誤差。后續(xù)幀基于前面的序列幀繼續(xù)建圖，則這些位姿隱含的誤差也會(huì)不斷累積。為了減少累計(jì)誤差，有效地提升定位精度，現(xiàn)有的SLAM框架中一般采取兩類方式：

第一種，使用局部?jī)?yōu)化，借助更多的相鄰幀來(lái)引入更多的幾何約束。將多幀間的位姿結(jié)合為一個(gè)小場(chǎng)景下的優(yōu)化問(wèn)題，最小化這些幀間的誤差來(lái)實(shí)現(xiàn)精度的提升。

第二種，則考慮全局下的位姿關(guān)系。當(dāng)物體長(zhǎng)時(shí)間運(yùn)動(dòng)，并在某一時(shí)刻重復(fù)運(yùn)動(dòng)回原場(chǎng)景，構(gòu)成一個(gè)回環(huán)的時(shí)候，可以對(duì)比建圖過(guò)程中的關(guān)鍵幀，檢測(cè)出該回環(huán)行為，進(jìn)而依據(jù)早期的位姿修正當(dāng)前位姿，有效減小累計(jì)誤差。這兩種方式都有自身的優(yōu)勢(shì)和局限性，缺點(diǎn)在于，第一種方法未能引入新的信息，還存在更多減小誤差的空間；而第二種只有出現(xiàn)回環(huán)時(shí)才會(huì)產(chǎn)生效果。

累積誤差一個(gè)主要來(lái)源就是幀間像素點(diǎn)的匹配。在視覺(jué)里程計(jì)中，算法追蹤的是特征點(diǎn)或像素點(diǎn)，而這些點(diǎn)并不具有很好的不變性。這也就意味著角度，距離，光照等變化都會(huì)使其發(fā)生變化，這便帶來(lái)了很大的麻煩和誤差。對(duì)于一個(gè)從較遠(yuǎn)處即進(jìn)入視場(chǎng)的物體，若從物體上劃定特定的一個(gè)圓形區(qū)域，可以觀察到，隨著攝像機(jī)與物體越來(lái)越近(尺度變化)，該圓形區(qū)域內(nèi)的像素變換很大，無(wú)法實(shí)現(xiàn)很好的匹配追蹤，因此便丟失這部分約束可能更有利于相鄰幀間的匹配；而如果使用語(yǔ)義信息建立約束時(shí)，其魯棒性明顯更好。在這樣的場(chǎng)景下，語(yǔ)義分割作為輔助信息，對(duì)SLAM中的位姿估計(jì)具有很大的提升作用。另一方面，現(xiàn)有SLAM方案為了追求實(shí)時(shí)性，多采用計(jì)算效率高，精度低的視覺(jué)描述子，如ORB-SLAM采用ORB算子。這樣為了速度而折衷精度的方式，對(duì)定位精度也產(chǎn)生了很大的影響。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn)和不足，本發(fā)明提出了結(jié)合目標(biāo)檢測(cè)和語(yǔ)義分割的圖像配準(zhǔn)方法，通過(guò)在關(guān)鍵區(qū)域采用SIFT算子提取關(guān)鍵點(diǎn)和描述子，使得特征點(diǎn)提取和匹配的范圍都大大減少。

所述圖像處理方法，包括：

從傳感器數(shù)據(jù)中獲取待處理圖像，借助實(shí)時(shí)目標(biāo)檢測(cè)算法截取待處理圖像中的關(guān)鍵區(qū)域；

對(duì)關(guān)鍵區(qū)域中進(jìn)行尺度不變特征變換，得到關(guān)鍵區(qū)域中的特征點(diǎn)；

基于語(yǔ)義信息對(duì)關(guān)鍵區(qū)域進(jìn)行語(yǔ)義分割，實(shí)現(xiàn)將關(guān)鍵區(qū)域中的特征點(diǎn)進(jìn)行歸類，定義針對(duì)每一類語(yǔ)義信息項(xiàng)誤差函數(shù)，結(jié)合視覺(jué)里程計(jì)原有框架中的誤差函數(shù)得到總體誤差函數(shù)；

對(duì)總體誤差函數(shù)進(jìn)行基于似然域模型的優(yōu)化處理，當(dāng)誤差最小時(shí)完成圖像配準(zhǔn)。

可選的，所述獲取待處理圖像，借助實(shí)時(shí)目標(biāo)檢測(cè)算法截取待處理圖像中的關(guān)鍵區(qū)域，包括：

從待處理圖像中提取兩張相鄰幀圖像；