[發(fā)明專利]一種基于光流與深度學(xué)習(xí)的視覺里程計實現(xiàn)方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810353201.8
• 申請日: 2018-04-19
• 公開（公告）號: CN108648216B
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 李方敏;趙奇;王雷;劉新華;張韜;彭小兵
• 申請（專利權(quán)）人: 長沙學(xué)院
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06N3/04;G01C22/00
• 代理公司: 武漢臻誠專利代理事務(wù)所(普通合伙) 42233
• 代理人: 宋業(yè)斌

本發(fā)明公開了一種基于光流與深度學(xué)習(xí)的視覺里程計實現(xiàn)方法，包括：通過相機獲取視頻中的連續(xù)兩幅照片，并使用卷積神經(jīng)網(wǎng)絡(luò)對其中的第一幅照片進行估計，以得到估計后的光流照片，根據(jù)估計后的照片并使用雙線性插值法對第二幅照片進行處理，以得到扭曲圖，并根據(jù)扭曲圖和第一幅照片得到光度誤差，將第一幅照片、第二幅照片、估計矩陣、以及光度誤差輸入到另一個卷積神經(jīng)網(wǎng)絡(luò)中，以得到另一幅估計后的光流照片，對得到的另一幅估計后的照片進行下采樣處理，將下采樣后的照片輸入到基于自編碼器的網(wǎng)絡(luò)中，以得到多維運動描述算子。本發(fā)明能夠解決現(xiàn)有基于幾何方法實現(xiàn)的視覺里程計魯棒性不好以及基于學(xué)習(xí)法實現(xiàn)的視覺里程計普適性差的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識別技術(shù)領(lǐng)域，更具體地，涉及一種基于光流與深度學(xué)習(xí)的視覺里程計實現(xiàn)方法和系統(tǒng)。

背景技術(shù)

視覺里程計是一種利用相機采集到的圖像序列來估計出智能體相對運動的計算機視覺方法，在機器人自主定位和導(dǎo)航過程中起著很重要的作用。

目前的視覺里程計主要是通過學(xué)習(xí)法和幾何法實現(xiàn)。對于學(xué)習(xí)法而言，其主要是結(jié)合深度學(xué)習(xí)的優(yōu)勢，使用網(wǎng)絡(luò)來進行圖像識別、檢測與分割，進而估算相機的運動位置和姿態(tài)；對于幾何法而言，其主要是提取兩幅連續(xù)圖片中的特征(例如ORB特征、SIFT特征等)，并在兩幅圖片中進行匹配和計算的方式實現(xiàn)。

然而，上述兩種方法均存在一定的缺陷：對于學(xué)習(xí)法而言，其普適性差，尤其當(dāng)測試數(shù)據(jù)的場景與訓(xùn)練場景變化較大或者運動速度變化時，算法的性能會受到很大的影響；對于幾何法而言，首先，其實時性不好，其次，在光線昏暗環(huán)境以及照片模糊情況下，其特征檢測困難，從而導(dǎo)致位姿跟丟，魯棒性不好。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進需求，本發(fā)明提供了一種基于光流與深度學(xué)習(xí)的視覺里程計實現(xiàn)方法和系統(tǒng)，其目的在于，解決現(xiàn)有采用學(xué)習(xí)法實現(xiàn)的視覺里程計所存在的普適性差的技術(shù)問題，以及采用幾何法實現(xiàn)的視覺里程計存在的實時性差、特征檢測困難以及魯棒性不好的技術(shù)問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于光流與深度學(xué)習(xí)的視覺里程計實現(xiàn)方法，包括以下步驟：

(1)通過相機獲取視頻中的連續(xù)兩幅照片，并使用卷積神經(jīng)網(wǎng)絡(luò)對其中的第一幅照片I₁進行估計，以得到估計后的光流照片，該照片是用以下估計矩陣A₁表示：

A₁＝(u₁,v₁)^T

其中u₁和v₁分別表示估計得到的照片中像素點的橫坐標(biāo)和縱坐標(biāo)。

(2)根據(jù)估計后的照片并使用雙線性插值法對第二幅照片I₂進行處理，以得到扭曲圖并根據(jù)扭曲圖和第一幅照片得到光度誤差e₁：

(3)將第一幅照片I₁、第二幅照片I₂、估計矩陣A₁、以及光度誤差e₁輸入到另一個卷積神經(jīng)網(wǎng)絡(luò)中，以得到另一幅估計后的光流照片，該照片用估計矩陣A₂表示；

(4)對步驟(3)中得到的另一幅估計后的光流照片進行下采樣處理，將下采樣處理后的照片輸入到基于自編碼器的網(wǎng)絡(luò)中，以得到多維運動描述算子；

(5)對于視頻中的其余圖片，重復(fù)上述步驟(1)至步驟(4)，直到所有圖片均處理完畢為止，得到的多個多維運動描述算子構(gòu)成相機的運動軌跡。

優(yōu)選地，步驟(4)包括以下子步驟：

(4-1)對步驟(3)中得到的另一幅估計后的光流照片進行下采樣處理；