[發明專利]一種基于卷積神經網絡和光流特征視覺里程計的實現方法

在審

• 申請號: 202011365131.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112419411A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 宋海龍;游林輝;胡峰;孫仝;陳政;張謹立;黃達文;王偉光;梁銘聰;黃志就;何彧;陳景尚;譚子毅;尤德柱;區嘉亮;陳宇婷
• 申請（專利權）人: 廣東電網有限責任公司肇慶供電局
• 主分類號: G06T7/73
• 分類號: G06T7/73;G01C22/00;G06T7/246;G06T7/269
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉瑤云

本發明涉及一種基于卷積神經網絡和光流特征視覺里程計的實現方法，有如下步驟，圖像序列中的相鄰兩幀輸入基于PWC?net的光流特征提取網絡，由光流特征提取網絡進行光流特征圖提取；通過卷積神經網絡對獲得的光流特征圖進行進一步特征提取，建立光流特征圖與地面真值圖像之間的映射關系，從而估計相鄰幀圖像之間的相對位姿；對步驟二中的相對位姿變換為絕對位姿，恢復出原始的運動軌跡。本發明中先進行光流特征圖的提取，再通過卷積神經網絡對光流特征圖進一步進行特征提取，使得加快對圖像計算光流圖的速度，進而提高整體的運行速度。

技術領域

本發明涉及無人機自主巡檢中基于視覺的定位與導航領域，更具體地，涉及一種基于卷積神經網絡和光流特征視覺里程計的實現方法。

背景技術

移動機器人技術越來越成為萬眾矚目的焦點。在未來，同時定位和環境建圖(SLAM)技術，不僅和無人駕駛結合方便人們出行，而且與工業運輸相結合使得無人卡車無人飛機提高流通效率，也應用于VR和AR眼鏡，改變人們生活娛樂的交互理念。這些生活中熟悉的場景，將為會因這項技術的進步而取得翻天覆地的變化。視覺SLAM目前遇到的挑戰有兩方面：第一是移動機器人持續運動視角的動態場景下，能夠保持算法系統的穩定性，第二是，高效利用從傳感器獲取的豐富的數據信息，并在現有的硬件設備下高效的優化計算結果。

視覺里程計是在同時定位和制圖(SLAM)系統中十分具有挑戰性的任務，旨在通過視覺數據流生成地圖。視覺里程計系統通常基于一個或兩個攝像頭，根據特征和像素估算運動圖像幀之間的差異。由于不同幀速率相機，通常在后續幀之間會有微小的增量變化，根據這種特征，可以假定以移動機器人上的相機本身作為參考中心坐標，光流與移動的物理距離成正比。本發明中，稱為里程計的視覺里程計系統是提出了基于光流和深度學習的思想。光流特征圖像用作卷積神經網絡的輸入，該卷積神經網絡計算每個卷積的旋轉和位移圖像像素。應用位移和旋轉逐步構建攝像機位置的地圖旅行。本發明中提出的系統在以下方面進行了訓練和測試：選擇KITTI視覺里程表數據集作為測試數據集，并通過比較地面真實坐標與預測的駕駛軌跡對系統進行評估。

公開號為“CN110490928A”，公開日為2019年11月22日的中國專利申請文件公開了一種基于深度神經網絡的相機姿態估計方法，1)構建相機姿態估計網絡；2)構建無監督訓練方案，利用估計的深度圖、幀間相對位姿及光流從輸入的前后幀圖像中分別重建出相應的圖像，利用輸入圖像和重建圖像之間的光度誤差構建網絡的損失函數；3)位姿估計模塊與光流估計模塊共享特征提取部分，加強特征對于幀間的幾何聯系；4)輸入待訓練單視點視頻，輸出對應幀間相對位姿，通過最優化手段降低損失函數來訓練模型，以至網絡達到收斂。本發明所提出的模型通過輸入單視點視頻序列輸出對應序列的相機位姿，訓練過程以一種端到端無監督的方式進行，通過光流與位姿聯合訓練，提高位姿估計性能。

但是上述的方案中，在一個神經網絡包括了位姿估計模塊和光流估計模塊，通過一個神經網絡同時提取位姿信息和光流信息，將兩個信息在同一個網絡進行結合，雖然提高了位姿估計的性能，但是導致了總體的運算速度下降。

發明內容

本發明為克服上述現有技術中運算速度交底的問題，提供一種基于卷積神經網絡和光流特征視覺里程計的實現方法，在保障視覺里程計系統的功能前提下，充分發揮深度學習算法的良好優勢，采用基于PWC-net的光流神經網絡提取相鄰幀圖像之間的光流圖，進而采用特征提取網絡獲得光流特征建立視覺里程計模型，有效提升視覺里程計系統的運算速度。

為解決上述技術問題，本發明采用的技術方案是：一種基于卷積神經網絡和光流特征視覺里程計的實現方法，包括如下步驟：

步驟一：圖像序列中的相鄰兩幀輸入基于PWC-net的光流特征提取網絡，由光流特征提取網絡進行光流特征圖提取；光流提取網絡主要用于提取圖像序列中相鄰幀圖像之間的光流信息，相鄰幀圖像之間的光流信息代表相鄰幀圖像深度的變化關系，所以獲得精度更高的光流特征圖對整個系統的精度的提升具有十分重要的意義。