[發(fā)明專利]一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110144037.1
• 申請(qǐng)日: 2021-02-02
• 公開（公告）號(hào): CN112906766A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 董樂;張寧;張文彬
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 51230
• 代理人: 孟仕杰

1.一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于，包括如下步驟：

步驟一、采集單目視覺圖像序列數(shù)據(jù)；

步驟二、利用單目圖像深度預(yù)測(cè)網(wǎng)絡(luò)獲取單目視覺深度圖像；

步驟三、利用光流預(yù)測(cè)網(wǎng)絡(luò)獲取相鄰單目視覺圖像之間的光流圖像；

步驟四、根據(jù)光流圖像，利用幾何推力預(yù)測(cè)模塊計(jì)算得到兩幀單目視覺圖像之間的光流一致性信息，并根據(jù)光流一致性信息以及設(shè)定的閾值，選擇出兩幅單目視覺圖像中最佳的N對(duì)匹配像素點(diǎn)；

步驟五、根據(jù)匹配像素點(diǎn)，結(jié)合單目視覺深度圖像，建立起3D到2D的映射關(guān)系，根據(jù)PNP算法求解得到相機(jī)的旋轉(zhuǎn)和位移參數(shù)，結(jié)合前一時(shí)刻相機(jī)的位姿，更新得到當(dāng)前時(shí)刻的相機(jī)位姿。

2.根據(jù)權(quán)利要求1所述的一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于：所述步驟二具體包括：

S21、將單目視覺圖像序列數(shù)據(jù)分為訓(xùn)練集和測(cè)試集；

S22、獲取一幅輸入圖像之后，首先通過四層卷積網(wǎng)絡(luò)進(jìn)行特征提取，每一層卷積網(wǎng)絡(luò)均使用步長(zhǎng)為1的卷積，并配合padding操作，在每一層卷積網(wǎng)絡(luò)之后，使用步長(zhǎng)為2的最大池化操作，將圖像相對(duì)于上一層縮放2倍，在空間分辨率縮放的同時(shí)，在深度維度上增加一倍，在卷積池化的過程當(dāng)中，使用Relu做為激活函數(shù)，同時(shí)添加dropout操作，最后得到多尺度的特征圖像；

S23、在得到多尺度的特征圖像后，通過一個(gè)自下而上的帶跳躍連接的卷積網(wǎng)絡(luò)，來進(jìn)行最終單目視覺深度圖像的生成。

3.根據(jù)權(quán)利要求2所述的一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于：所述步驟S23具體包括：

首先，根據(jù)第四層特征圖像，通過卷積之后，生成一個(gè)粗略的深度圖像，此時(shí)該粗略的深度圖像的分辨率是原始圖像的1/8；緊接著，將生成的粗略的深度圖像進(jìn)行上采樣，用于生成分辨率為原始圖像的1/4的深度預(yù)測(cè)圖，以此類推，最終生成一個(gè)和原始圖像分辨率一致的單目視覺深度圖像。

4.根據(jù)權(quán)利要求2所述的一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于：所述步驟三具體包括：

S31、設(shè)計(jì)圖像金字塔網(wǎng)絡(luò)用于提取兩幀單目視覺圖像之間的特征信息。

S32、在得到兩幀單目視覺圖像的金字塔特征圖像F₁～F₆之后，先從分辨率最低的特征圖像F₆開始，將兩幀單目視覺圖像的特征圖像首先輸入到M模塊中，通過M模塊的處理，生成一個(gè)粗略的光流圖像x_m，再將粗略的光流圖像x_m和當(dāng)前時(shí)刻單目視覺圖像的特征圖像輸入到R模塊中進(jìn)行正則化處理，最終得到在這一級(jí)單目視覺圖像上所對(duì)應(yīng)的光流圖x_s。

S33、對(duì)各個(gè)尺度的特征圖都使用步驟S32操作，最終生成一個(gè)與原始圖像同分辨率的光流圖像。

5.根據(jù)權(quán)利要求4所述的一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于：所述步驟S31具體包括：

首先，輸入相鄰兩幀單目視覺圖像后，會(huì)先經(jīng)過一個(gè)6層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像的初步處理，提取單目視覺圖像的相關(guān)特征，建立起這兩幀單目視覺圖像的金字塔特征圖像，該金字塔特征圖像一共有F₁～F₆共6級(jí)，分辨率以1/2的比率依次降低，同時(shí)通道數(shù)則相應(yīng)地依次增加。

6.根據(jù)權(quán)利要求5所述的一種融合深度學(xué)習(xí)和幾何推理的單目視覺里程計(jì)方法，其特征在于：所述M模塊包括如下步驟：

首先，將前一時(shí)刻的特征圖像生成的粗略的光流圖像x進(jìn)行二倍上采樣，得到粗略的光流圖像2x；然后，將當(dāng)前時(shí)刻的特征圖像F₂進(jìn)行定向變換得到并將其作為人工合成的特征圖像F₁；計(jì)算原始特征圖像F₁和人工合成的特征圖像之間的相關(guān)性信息，在得到相關(guān)性信息之后，再將相關(guān)性信息通過一個(gè)卷積層進(jìn)行抽象處理，最終生成兩幀單目視覺圖像之間的光流差Δx_m，最后，在粗略的光流圖像2x的基礎(chǔ)上，加上光流差Δx_m，得到更新后的粗略的光流圖像x_m。