[發明專利]一種基于光流與深度學習的視覺里程計實現方法和系統

有效

• 申請號: 201810353201.8
• 申請日: 2018-04-19
• 公開（公告）號: CN108648216B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 李方敏;趙奇;王雷;劉新華;張韜;彭小兵
• 申請（專利權）人: 長沙學院
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06N3/04;G01C22/00
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

1.一種基于光流與深度學習的視覺里程計實現方法，其特征在于，包括以下步驟：

(1)通過相機獲取視頻中的連續兩幅照片，并使用卷積神經網絡對其中的第一幅照片I₁進行估計，以得到估計后的光流照片，該照片是用以下估計矩陣A₁表示：

A₁＝(u₁,v₁)^T

其中u₁和v₁分別表示估計得到的照片中像素點的橫坐標和縱坐標；

(2)根據估計后的照片并使用雙線性插值法對第二幅照片I₂進行處理，以得到扭曲圖并根據扭曲圖和第一幅照片得到光度誤差e₁：

(3)將第一幅照片I₁、第二幅照片I₂、估計矩陣A₁、以及光度誤差e₁輸入到另一個卷積神經網絡中，以得到另一幅估計后的光流照片，該照片用估計矩陣A₂表示；

(4)對步驟(3)中得到的另一幅估計后的光流照片進行下采樣處理(例如采樣到155*48)，將下采樣處理后的照片輸入到基于自編碼器的網絡中，以得到多維運動描述算子；步驟(4)包括以下子步驟：

(4-1)對步驟(3)中得到的另一幅估計后的光流照片進行下采樣處理；

(4-2)利用基于自編碼器的網絡中的編碼器對下采樣處理后的光流照片進行編碼，以得到多維矩陣，具體采用以下公式：

其中u表示下采樣處理后的照片，z表示得到的多維矩陣中的元素，l表示得到的多維矩陣的維數，w表示基于自編碼器的網絡中編碼器的權重；

(4-3)利用基于自編碼器的網絡中的解碼器對步驟(4-2)中得到的多維矩陣進行解碼，以得到另一幅光流照片；

(4-4)計算步驟(4-3)中得到的另一幅光流照片與步驟(3)中得到的另一幅估計后的光流照片之間的歐氏距離作為基于自編碼器的網絡的損失函數，并通過最小化損失函數確定編碼器的權重；

(4-5)根據步驟(4-4)中確定的編碼器的權重，并使用步驟(4-2)中的公式計算得到多維矩陣；

(4-6)將步驟(4-5)得到的多維矩陣輸入全連接網絡，從而得到多維運動描述算子；

(5)對于視頻中的其余圖片，重復上述步驟(1)至步驟(4)，直到所有圖片均處理完畢為止，得到的多個多維運動描述算子構成相機的運動軌跡。

2.根據權利要求1所述的視覺里程計實現方法，其特征在于，步驟(4-2)具體為，輸入光流圖片經過卷積核大小為64×5×5，步長為2×2的卷積后再使用ReLU激活函數引入非線性操作，從而得到第一卷積層大小為64×150×47，再經過2×2的最大池化后得到第一池化層，輸出的大小為64×75×24，第二層卷積核大小為64×3×3，卷積步長為1×1，使用ReLU激活函數，再經過2×2的最大池化后得到第二池化層，大小為64×38×12；第三層卷積核大小同樣為64×3×3，卷積步長為1×1，使用ReLU激活函數，并且輸出的第三卷積層大小為64×38×12，最終得到多維矩陣。

3.根據權利要求2所述的視覺里程計實現方法，其特征在于，步驟(4-3)具體為，多維矩陣首先經過卷積核大小為6×3×3、卷積步長為4×4的反卷積操作，再使用ReLU激活函數進行非線性操作，從而得到大小為6×152×48的第一反卷積層，然后，將第一反卷積層大小裁剪到6×150×47，隨后，再經過卷積核大小為2×3×3，卷積步長為2×2的轉置卷積操作，并利用ReLU激活函數進行非線性操作，從而輸出2×300×94的光流照片。

4.根據權利要求3所述的視覺里程計實現方法，其特征在于，步驟(4-6)具體為，多維矩陣經過2×2的最大池化后得到第三池化層，其大小為64×19×6，然后通過融合層將多維矩陣和第三池化層串接到成一維向量，然后輸入給全連接層處理，其中全連接層是由2個激活層組成，且均使用線性整流函數ReLU，最后輸出的6維向量就是多維運動描述算子。