[發明專利]一種相機位姿定位方法

有效

• 申請號: 202010526031.6
• 申請日: 2020-06-10
• 公開（公告）號: CN111833400B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 楊關水;劉立程
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08;G01C22/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

本發明公開了一種相機位姿定位方法，包括以下步驟：S1：獲取輸入序列，所述輸入序列為連續的共T幀的視頻流，每一幀代表一張圖片；S2：將所述輸入序列輸入ASPP模塊中，所述ASPP模塊由一組不同膨脹率的膨脹卷積組成，所述輸入序列中的每一張圖片經過ASPP模塊處理后，輸出不同接受域大小的空間特征圖；S3：將每一張圖片經S2后得到的不同接受域大小的空間特征圖串聯起來，輸入到深度學習網絡中進行時間特征提取，獲取相機位姿。本發明采用ASPP模塊，多尺度提取空間特征，然后將這些空間特征串聯起來，輸入一個深度學習網絡中學習時空信息，通過不同尺度提取前向幀之間和后向幀之間的時空信息，從而得到更精確的相機位姿輸出。

技術領域

本發明涉及計算機視覺領域，更具體地，涉及一種相機位姿定位方法。

背景技術

視覺里程計(Visual?Odometry)作為姿態估計和機器人定位最重要的技術之一，在過去的幾十年里引起了計算機視覺和機器人領域的極大興趣。它已被廣泛應用于各種機器人作為補充GPS、慣性導航系統(INS)等。

在過去的三十年中，人們做了大量的工作來開發一種精確而穩定的視覺里程計系統。一個典型的流程，它通常由攝像機標定、特征檢測、特征匹配(或跟蹤)、離群點抑制(如RANSAC)、運動估計、尺度估計和局部優化組成(捆綁調整)，基于幾何的方法得到迅速發展并被廣泛認為是相機定位的黃金法則。盡管基于該流程，一些最先進算法在準確性和魯棒性方面表現出了出色的性能，但它們通常是經過大量工作硬編碼的，流程中的每個模塊都需要仔細設計和微調，以確保他們的性能。此外，視覺里程計(VO)必須利用一些額外的信息或先前的知識來估計絕對尺度。

深度學習(Deep?Learning)最近已經在許多計算機視覺任務中取得了很好的效果。CN201611191845.9公開了一種基于深度學習的端到端視覺里程計及方法，包括級聯的光流網絡和幀間估計網絡，所述光流網絡根據數據集中圖像序列中的相鄰幀，選取輸出光流向量和基準數據之間的光流端點誤差為損失函數，進行網絡訓練后，將生成的光流輸出，所述幀間估計網絡以光流圖像作為輸入，基于六自由度輸出位姿向量與基準數據之間的距離構建損失函數，迭代訓練網絡，進行幀間估計。本發明采用不同輸入輸出數據分別訓練光流網絡模塊和幀間估計網絡模塊，最后將兩者級聯構成端到端的視覺里程計模塊，再進一步深層次訓練，優化參數。但是對于視覺里程計(VO)問題，還沒有得到很好的運用。事實上，在視覺里程計(VO)上的工作非常有限，原因是涉及到3D幾何問題。現有的深度學習架構和預訓練的模型本質上是用來處理識別和分類問題的，而這些問題驅動了深度卷積神經網絡(CNNs)從圖像中提取高級外觀信息。表面特征的學習限制了視覺里程計(VO)的發展，使得視覺里程計(VO)只在經過訓練的環境中發揮作用，嚴重阻礙了視覺里程計(VO)在新場景中的普及。這就是視覺里程計(VO)算法嚴重依賴于幾何特征而不是外觀特征的原因。同時，理想的視覺里程計(VO)算法應該通過檢查一系列圖像上的變化和連接來建模運動動力學，而不是處理單個圖像。這意味著我們需要順序學習，而CNNs還不足以做到這一點。

總的來說，目前用于相機定位的方法主要有兩種，一種是發展比較久遠而且比較成熟的基于幾何的經典方法，但是過程比較復雜；另外一種是近幾年比較流行的基于深度學習的人工智能方法，它可以實現端到端的相機定位。

發明內容

本發明提供一種相機位姿定位方法，得到精確的相機位姿輸出。

為解決上述技術問題，本發明的技術方案如下：

一種相機位姿定位方法，包括以下步驟：

S1：獲取輸入序列，所述輸入序列為連續的共T幀的視頻流，每一幀代表一張圖片；

S2：將所述輸入序列輸入ASPP模塊中，所述ASPP模塊由一組不同膨脹率的膨脹卷積組成，所述輸入序列中的每一張圖片經過ASPP模塊處理后，輸出不同接受域大小的空間特征圖；