[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法

在審

• 申請?zhí)枺?/td>: 202011365131.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112419411A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 宋海龍;游林輝;胡峰;孫仝;陳政;張謹立;黃達文;王偉光;梁銘聰;黃志就;何彧;陳景尚;譚子毅;尤德柱;區(qū)嘉亮;陳宇婷
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責任公司肇慶供電局
• 主分類號: G06T7/73
• 分類號: G06T7/73;G01C22/00;G06T7/246;G06T7/269
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉瑤云

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，包括如下步驟：

步驟一：圖像序列中的相鄰兩幀輸入基于PWC-net的光流特征提取網(wǎng)絡(luò)，由光流特征提取網(wǎng)絡(luò)進行光流特征圖提取；

步驟二：通過卷積神經(jīng)網(wǎng)絡(luò)對獲得的光流特征圖進行進一步特征提取，建立光流特征圖與地面真值圖像之間的映射關(guān)系，從而估計相鄰幀圖像之間的相對位姿；

步驟三：對步驟二中的相對位姿變換為絕對位姿，恢復(fù)出原始的運動軌跡。

2.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，所述光流特征提取網(wǎng)絡(luò)采用可學(xué)習的特征金字塔模式，使用當前的光流估計值來扭曲變換第二張圖片，然后使用變形的特征和第一個圖像的特征來構(gòu)建成本量，并用CNN網(wǎng)絡(luò)結(jié)構(gòu)處理以估計光流。

3.根據(jù)權(quán)利要求2所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，在所述步驟二中，光流特征提取網(wǎng)絡(luò)獲得網(wǎng)絡(luò)中第l層的特征圖和第l-1層的特征圖光流提取網(wǎng)絡(luò)對之前輸出的特征圖按照如下方式進行處理：

其中，x是像素索引；up₂(w^l+1)是l+1層的采樣光流特征圖；在第一層的時候up₂(w^l+1)被設(shè)置為0；

再使用獲得的特征圖來構(gòu)建存儲關(guān)聯(lián)的匹配成本，計算下一幀圖像中具有相應(yīng)像素，具體方式如下：

其中，其中T是轉(zhuǎn)置運算符；N是列向量的長度；

在一個多層卷積神經(jīng)網(wǎng)絡(luò)，以成本量cv^l(x₁,x₂)，第一個圖像的特征c₁以及上采樣的光流up₂(w^l+1)作為輸入，獲得第l層的光流特征圖w^l。

4.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，在實現(xiàn)所述步驟一前，先對不同圖像對應(yīng)的實際絕對位姿數(shù)據(jù)進行預(yù)處理，獲得相對位姿；通過相對位姿進行姿態(tài)結(jié)算得到每張圖像的絕對姿態(tài)，絕對姿態(tài)的生成標簽表示為：

P＝[x,y,z,ψ,χ,γ]

式中：x、y、z分別表示為物體在X，Y，Z軸方向的移動距離；后三個參數(shù)表示物體在X，Y，Z軸方向的轉(zhuǎn)動角度。

5.根據(jù)權(quán)利要求2所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，所述相對位姿采用歐拉角表示：

ΔP＝[Δx,Δy,Δz,Δψ,Δχ,Δγ]

式中，ΔP中前三個物理量分別表示物體在t時刻至t+1時刻沿X，Y，Z軸的位移差；后三個物理量表示繞X，Y，Z軸旋轉(zhuǎn)的角度差。

6.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，對輸入的光流特征圖進行特征提取獲得相對的位姿的過程表示為：

其中，fc代表全連接層，代表步長為2，卷積核為2×2的最大池化層；進而獲得估計的相對位姿。

7.根據(jù)權(quán)利要求6所述基于卷積神經(jīng)網(wǎng)絡(luò)和光流特征視覺里程計的實現(xiàn)方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)由十個卷積層、激活函數(shù)層和Max-pooling層構(gòu)成，將原始輸入數(shù)據(jù)映射到抽象特征空間；每個卷積層后面連接了一個激活函數(shù)ReLU，其中有六層卷積步長為2，得到的特征圖譜相應(yīng)的縮減為原來的兩倍；卷積核的大小從7*7，逐漸減小為5*5，最終變?yōu)?*3。