[發(fā)明專利]一種基于RGBD相機(jī)的無監(jiān)督位姿估計(jì)網(wǎng)絡(luò)構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202010034081.2
• 申請日: 2020-01-13
• 公開（公告）號: CN111260680B
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 楊宇翔;潘耀輝;高明煜;何志偉;黃繼業(yè);董哲康
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/50;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發(fā)明公開了一種基于RGBD相機(jī)的無監(jiān)督位姿估計(jì)網(wǎng)絡(luò)構(gòu)建方法。根據(jù)圖像估計(jì)相機(jī)的運(yùn)動是目前視覺移動機(jī)器人的一大研究課題。傳統(tǒng)的方法易在低紋理、復(fù)雜的幾何結(jié)構(gòu)和光照、遮蔽等環(huán)境下失效。而大多數(shù)基于深度學(xué)習(xí)的方法又需要額外的監(jiān)督數(shù)據(jù)，這使得工作變得復(fù)雜，而且提高了成本。本發(fā)明使用卷積神經(jīng)網(wǎng)絡(luò)的方法彌補(bǔ)傳統(tǒng)方法的不足，并且利用深度圖像的距離信息，結(jié)合傳統(tǒng)的幾何知識，利用正序逆序輸入增加約束，使得網(wǎng)絡(luò)能準(zhǔn)確估計(jì)相機(jī)的位姿。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于RGBD相機(jī)的無監(jiān)督位運(yùn)動估計(jì)網(wǎng)絡(luò)構(gòu)建方法

背景技術(shù)

SLAM(Simultaneous Localization And Mapping)即時定位和建圖是機(jī)器視覺的一個重要研究方向，經(jīng)過近30年的發(fā)展，SLAM及相關(guān)技術(shù)日漸成為機(jī)器人、圖像處理、深度學(xué)習(xí)、運(yùn)動恢復(fù)結(jié)構(gòu)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的研究熱點(diǎn)。而從連續(xù)幀中恢復(fù)運(yùn)動結(jié)構(gòu)即SFM(Structure Of Motion)是其中的一大重點(diǎn)。雖然傳統(tǒng)的SFM方法在許多情況下是高效的，但是需要依賴于精確的圖像，易在低紋理、復(fù)雜的幾何結(jié)構(gòu)和光照、遮蔽等環(huán)境下失效。

為了解決這個問題，也隨著近幾年深度學(xué)習(xí)的發(fā)展，一些基于深度學(xué)習(xí)的方法被提出來，應(yīng)用在傳統(tǒng)SFM的各個階段。由于深度學(xué)習(xí)的方法使用了大量的數(shù)據(jù)集用來訓(xùn)練，且這些方法在訓(xùn)練期間利用精準(zhǔn)的外部監(jiān)督，這使得在固定場景下的幀間估計(jì)變得更加準(zhǔn)確，彌補(bǔ)了傳統(tǒng)方法的不足之處。但是外部監(jiān)督數(shù)據(jù)，特別是幀間的相對運(yùn)動的真值不易獲取，需要使用額外的傳感器如IMU、GPS等，這使工作變得更加復(fù)雜，并且提高了成本。

近幾年深度相機(jī)被廣泛地使用于SLAM的研究，精準(zhǔn)的彩色圖和對應(yīng)的深度圖能夠較容易且準(zhǔn)確地獲取。彩色圖有豐富的特征信息，能夠使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出特征表示，不同幀間的特征相關(guān)性也能被感知。而深度圖提供了物體的距離信息。將深度圖的距離信息和深度學(xué)習(xí)融合，結(jié)合幾何知識，為網(wǎng)絡(luò)的無監(jiān)督提供新思路。

發(fā)明內(nèi)容

本發(fā)明的目的就是克服傳統(tǒng)方法的不足和有監(jiān)督深度學(xué)習(xí)的局限，提出了一種基于RGBD相機(jī)的無監(jiān)督位姿估計(jì)網(wǎng)絡(luò)構(gòu)建方法。本方法不僅使用深度學(xué)習(xí)方法學(xué)習(xí)幀間轉(zhuǎn)換的關(guān)系，還結(jié)合傳統(tǒng)幾何知識，利用網(wǎng)絡(luò)生成的幀間變換關(guān)系和深度圖的距離信息，結(jié)合傳統(tǒng)的幾何知識去指導(dǎo)網(wǎng)絡(luò)生成更加準(zhǔn)確的結(jié)果，以此達(dá)到無監(jiān)督，并且通過一個正序逆序網(wǎng)絡(luò)增加約束，使得網(wǎng)絡(luò)的估計(jì)更加準(zhǔn)確。具體步驟如下：

步驟(1)：利用RGB-D相機(jī)獲取同場景彩色圖像和深度圖像

使用RGB-D相機(jī)得到連續(xù)彩色圖像和對應(yīng)的連續(xù)深度圖像其分辨率為H*W，H和W分別為圖像的高和寬；選取t時刻彩色圖像與其臨近圖像每張彩色圖都是RGB三通道，將三張彩圖以的形式拼接成一個9通道的序列其中feature指的是經(jīng)卷積層后得到的特征圖，0指的是第0次卷積操作；

步驟(2)：基于位姿網(wǎng)絡(luò)學(xué)習(xí)幀間結(jié)構(gòu)關(guān)系

位姿網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，在每一次卷積層后都經(jīng)過一層ReLU激活層；首先9通道序列經(jīng)過一層卷積核大小為7*7的卷積層，然后再是一層卷積核大小為5*5的卷積層，接下來是五層卷積核為3*3的卷積層，得到通道數(shù)為256的然后在經(jīng)過一層卷積核大小為1*1的卷積核實(shí)現(xiàn)降維，得到通道數(shù)為12的最后將H和W維度取平均數(shù)成一個數(shù)字，得到12維的一組數(shù)字；將數(shù)字拆分為兩組6維數(shù)字，分別記為T_t→t-1、T_t→t+1；對于T_t→t-1，前三位表示到的坐標(biāo)系平移，后三位是用歐拉角表示到的坐標(biāo)系旋轉(zhuǎn)，T_t→t+1表示同理；

步驟(3)：利用幀間相機(jī)位姿關(guān)系，結(jié)合深度圖的距離信息，利用幾何知識完成自監(jiān)督：

對于圖像對應(yīng)的深度圖為與t+1時刻對應(yīng)的圖像之間的轉(zhuǎn)換關(guān)系為T_t→t+1；對于圖像上的某點(diǎn)像素所對應(yīng)上的像素為由相機(jī)投影模型和幀間三角關(guān)系可得對應(yīng)到的像素有關(guān)系：

①