[發(fā)明專利]一種基于光流與深度學(xué)習(xí)的視覺里程計(jì)實(shí)現(xiàn)方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810353201.8
• 申請日: 2018-04-19
• 公開（公告）號: CN108648216B
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 李方敏;趙奇;王雷;劉新華;張韜;彭小兵
• 申請（專利權(quán)）人: 長沙學(xué)院
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06N3/04;G01C22/00
• 代理公司: 武漢臻誠專利代理事務(wù)所(普通合伙) 42233
• 代理人: 宋業(yè)斌

本發(fā)明公開了一種基于光流與深度學(xué)習(xí)的視覺里程計(jì)實(shí)現(xiàn)方法，包括：通過相機(jī)獲取視頻中的連續(xù)兩幅照片，并使用卷積神經(jīng)網(wǎng)絡(luò)對其中的第一幅照片進(jìn)行估計(jì)，以得到估計(jì)后的光流照片，根據(jù)估計(jì)后的照片并使用雙線性插值法對第二幅照片進(jìn)行處理，以得到扭曲圖，并根據(jù)扭曲圖和第一幅照片得到光度誤差，將第一幅照片、第二幅照片、估計(jì)矩陣、以及光度誤差輸入到另一個卷積神經(jīng)網(wǎng)絡(luò)中，以得到另一幅估計(jì)后的光流照片，對得到的另一幅估計(jì)后的照片進(jìn)行下采樣處理，將下采樣后的照片輸入到基于自編碼器的網(wǎng)絡(luò)中，以得到多維運(yùn)動描述算子。本發(fā)明能夠解決現(xiàn)有基于幾何方法實(shí)現(xiàn)的視覺里程計(jì)魯棒性不好以及基于學(xué)習(xí)法實(shí)現(xiàn)的視覺里程計(jì)普適性差的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識別技術(shù)領(lǐng)域，更具體地，涉及一種基于光流與深度學(xué)習(xí)的視覺里程計(jì)實(shí)現(xiàn)方法和系統(tǒng)。

背景技術(shù)

視覺里程計(jì)是一種利用相機(jī)采集到的圖像序列來估計(jì)出智能體相對運(yùn)動的計(jì)算機(jī)視覺方法，在機(jī)器人自主定位和導(dǎo)航過程中起著很重要的作用。

目前的視覺里程計(jì)主要是通過學(xué)習(xí)法和幾何法實(shí)現(xiàn)。對于學(xué)習(xí)法而言，其主要是結(jié)合深度學(xué)習(xí)的優(yōu)勢，使用網(wǎng)絡(luò)來進(jìn)行圖像識別、檢測與分割，進(jìn)而估算相機(jī)的運(yùn)動位置和姿態(tài)；對于幾何法而言，其主要是提取兩幅連續(xù)圖片中的特征(例如ORB特征、SIFT特征等)，并在兩幅圖片中進(jìn)行匹配和計(jì)算的方式實(shí)現(xiàn)。

然而，上述兩種方法均存在一定的缺陷：對于學(xué)習(xí)法而言，其普適性差，尤其當(dāng)測試數(shù)據(jù)的場景與訓(xùn)練場景變化較大或者運(yùn)動速度變化時，算法的性能會受到很大的影響；對于幾何法而言，首先，其實(shí)時性不好，其次，在光線昏暗環(huán)境以及照片模糊情況下，其特征檢測困難，從而導(dǎo)致位姿跟丟，魯棒性不好。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于光流與深度學(xué)習(xí)的視覺里程計(jì)實(shí)現(xiàn)方法和系統(tǒng)，其目的在于，解決現(xiàn)有采用學(xué)習(xí)法實(shí)現(xiàn)的視覺里程計(jì)所存在的普適性差的技術(shù)問題，以及采用幾何法實(shí)現(xiàn)的視覺里程計(jì)存在的實(shí)時性差、特征檢測困難以及魯棒性不好的技術(shù)問題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于光流與深度學(xué)習(xí)的視覺里程計(jì)實(shí)現(xiàn)方法，包括以下步驟：

(1)通過相機(jī)獲取視頻中的連續(xù)兩幅照片，并使用卷積神經(jīng)網(wǎng)絡(luò)對其中的第一幅照片I₁進(jìn)行估計(jì)，以得到估計(jì)后的光流照片，該照片是用以下估計(jì)矩陣A₁表示：

A₁＝(u₁,v₁)^T

其中u₁和v₁分別表示估計(jì)得到的照片中像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。

(2)根據(jù)估計(jì)后的照片并使用雙線性插值法對第二幅照片I₂進(jìn)行處理，以得到扭曲圖并根據(jù)扭曲圖和第一幅照片得到光度誤差e₁：

(3)將第一幅照片I₁、第二幅照片I₂、估計(jì)矩陣A₁、以及光度誤差e₁輸入到另一個卷積神經(jīng)網(wǎng)絡(luò)中，以得到另一幅估計(jì)后的光流照片，該照片用估計(jì)矩陣A₂表示；

(4)對步驟(3)中得到的另一幅估計(jì)后的光流照片進(jìn)行下采樣處理，將下采樣處理后的照片輸入到基于自編碼器的網(wǎng)絡(luò)中，以得到多維運(yùn)動描述算子；

(5)對于視頻中的其余圖片，重復(fù)上述步驟(1)至步驟(4)，直到所有圖片均處理完畢為止，得到的多個多維運(yùn)動描述算子構(gòu)成相機(jī)的運(yùn)動軌跡。

優(yōu)選地，步驟(4)包括以下子步驟：

(4-1)對步驟(3)中得到的另一幅估計(jì)后的光流照片進(jìn)行下采樣處理；