[發明專利]一種基于深度神經網絡的位姿估計方法及裝置

在審

• 申請號: 201910768325.7
• 申請日: 2019-08-20
• 公開（公告）號: CN110473254A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 焦繼超;焦劍;鄧中亮;莫耀凱;劉煒倫;袁華宇;邱德武
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/70
• 分類號: G06T7/70
• 代理公司: 11413 北京柏杉松知識產權代理事務所(普通合伙)
• 代理人: 李欣;馬敬<國際申請>=<國際公布>=<

本發明實施例提供了一種基于深度神經網絡的位姿估計方法及裝置，方法包括：獲取目標圖像序列，所述目標圖像序列是相機在移動中連續拍攝的；將所述目標圖像序列輸入位姿估計網絡模型，得到所述相機拍攝所述目標圖像序列中每張圖像時的位姿信息；所述位姿估計網絡模型是根據訓練集預先訓練完成的，所述訓練集包括：樣本圖像序列，以及樣本位姿信息。由于采用深度神經網絡模型進行相機的位姿信息估計，不需要進行關鍵點的提取和描述子計算過程，降低了計算復雜度，此外，對被測對象的無嚴格要求，可以適用于被測對象的位移較大的場景。

技術領域

本發明涉及人工智能技術領域，特別是涉及一種基于深度神經網絡的位姿估計方法及裝置。

背景技術

隨著人工智能的發展，視覺里程計也被廣泛應用于機器人技術，自動駕駛技術等。通俗來講，將相機剛性連接到一個移動的物體上，例如機器人，通過相機拍攝的一系列連續圖像序列來推斷相機的位姿信息即為視覺里程計。容易理解的，由于相機和機器人剛性連接，因此相機的位姿信息也可以反映機器人的位姿信息。

若僅使用一個相機，則稱為單目視覺里程計，若使用多個相機，則稱為立體視覺里程計。

目前，在視覺里程計領域中，針對視覺里程計任務，主要存在兩種方法，一種是特征點法，另一種是直接法。

第一種特征點法，是通過提取圖像的SIFT(Scale Invariant FeatureTransform，尺度不變特征)，SURF(Speeded Up Robust Features，加速穩健特征)等圖像特征，進行相鄰圖像幀的匹配，進而通過最小化重投影誤差計算出相鄰圖像幀的相對位姿。然而這種方法在關鍵點的提取和描述子計算過程計算復雜度較高，相應的耗時也較多。

第二種直接法，是通過最小化廣度誤差跟蹤關鍵點，相對于特征點法，省去了關鍵點描述子計算的計算量及耗時，后續同樣通過最小化重投影誤差計算圖像幀的相對位姿。然而這種方法需要較高的采樣率，也就是需要被測對象的位移較小。

發明內容

本發明實施例的目的在于提供一種基于深度神經網絡的位姿估計方法及裝置，以實現減少位姿估計的計算復雜度，并可適用于被測對象的位移較大的場景。

為實現上述目的，本發明實施例提供了一種基于深度神經網絡的位姿估計方法，所述方法包括：

獲取目標圖像序列，所述目標圖像序列是相機在移動中連續拍攝的；

將所述目標圖像序列輸入位姿估計網絡模型，得到所述相機拍攝所述目標圖像序列中每張圖像時的位姿信息；所述位姿估計網絡模型是根據訓練集預先訓練完成的，所述訓練集包括：樣本圖像序列，以及樣本位姿信息。

可選的，所述位姿估計網絡模型采用以下步驟訓練獲得：

獲取預設的深度神經網絡模型和所述訓練集；

將所述訓練集中的樣本圖像序列輸入所述深度神經網絡模型，得到位姿信息估計集合；

將所述位姿信息估計集合的估計值和所述樣本位姿信息的真實值輸入預設的損失函數，確定損失值；

根據所述損失值確定所述深度神經網絡模型是否收斂；

若否，則調整所述深度神經網絡模型中的參數值，并返回所述將所述訓練集中的樣本圖像序列輸入所述深度神經網絡模型，得到位姿信息估計集合的步驟；

若是，則將當前的深度神經網絡模型確定為位姿估計網絡模型。

可選的，所述深度神經網絡模型包括第一子網絡和第二子網絡，所述第一子網絡為卷積神經網絡CNN，所述第二子網絡為雙向長短期記憶網絡BI-LSTM。

可選的，所述損失函數為：