[發明專利]一種圖像自適應運動估計方法及應用

在審

• 申請號: 202011434819.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112561947A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 楊德龍;尚鵬;侯增濤;王博;付威廉
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/70;G06N3/08;G06N3/04
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

目前已有算法不考慮圖像序列之間的時間間隔，假設所有圖像為同一時刻獲取，由此導致計算存在一定誤差。本申請提供了一種圖像自適應運動估計方法，包括構造第一深度卷積神經網絡、第二深度卷積神經網絡；根據所述第一深度卷積神經網絡和所述第二深度卷積神經網絡構建目標函數，通過所述目標函數對所述第一深度卷積神經網絡和所述第二深度卷積神經網絡同時進行訓練，得到參數固定的第一深度卷積神經網絡和參數固定的第二深度卷積神經網絡；將單目圖像輸入第一深度卷積神經網絡輸出單目圖像對應的視差圖像，將圖像序列輸入所述第二深度卷積神經網絡輸出相機空間位姿變換矩陣。避免了圖像之間的非重疊區域對圖像重建造成的不利影響。

技術領域

本申請屬于人工智能技術領域，特別是涉及一種圖像自適應運動估計方法及應用。

背景技術

視覺和聽覺是人類感知外界環境的主要途徑，其中80％以上的外界信息是通過視覺獲取的。基于視覺途徑的場景感知是人工智能領域所面臨的一大挑戰，也是無人駕駛汽車視覺導航系統的重要組成部分。在無人駕駛汽車視覺導航系統中，場景的三維信息(場景與攝像頭之間的相對距離、攝像頭的空間位置及姿態等參數)發揮著重要作用。同時，由于單目相機具有體積小、設備簡單、成本低廉及易于部署等優點，相對于其他傳感器更具有應用優勢。因此，開展針對無人駕駛場景的單目圖像運動估計算法研究對無人駕駛汽車視覺導航系統的開發具有重要意義。

目前，基于深度學習的單目圖像運動估計算法分為有監督學習算法和無監督學習算法兩種。有監督學習算法的訓練數據集由輸入圖像序列和每一幅圖像對應的標簽集組成。然而，此類標簽集多由人工標記完成，極大限制的算法的應用范圍，已逐漸被淘汰。無監督學習算法利用圖像之間的空間幾何關系設計監督信號，用于取代有監督算法中的標簽集，僅使用圖像即可完成深度學習模型的訓練與測試，日益成為主流的研究方向。

現有方法在目標函數的設計過程中，將所有圖像默認為同一時刻采集的靜態圖像，忽略了圖像序列之間的采集時間間隔，從而不可避免地會產生一定誤差，從而降低算法精度。通過對以上問題的分析發現：現有的基于無監督深度學習的單目圖像運動估計方法僅從圖像之間的幾何關系考慮問題，忽略了時間維度。盡管較短的時間間隔不會導致算法失敗，但是此類將動態場景圖像默認為靜態場景圖像的處理方法降低了算法的精度和魯棒性。

發明內容

1.要解決的技術問題

基于無監督深度學習的單目圖像景深估計及相機空間位姿計算方法在模型訓練過程中，需要使用單目圖像序列作為訓練樣本。目前已有算法不考慮圖像序列之間的時間間隔，假設所有圖像為同一時刻獲取，由此導致計算存在一定誤差的問題，本申請提供了一種圖像自適應運動估計方法及應用。

2.技術方案

為了達到上述的目的，本申請提供了一種圖像自適應運動估計方法，所述方法包括如下步驟：步驟1：構造第一深度卷積神經網絡、第二深度卷積神經網絡；步驟2：根據所述第一深度卷積神經網絡和所述第二深度卷積神經網絡構建目標函數，通過所述目標函數對所述第一深度卷積神經網絡和所述第二深度卷積神經網絡同時進行訓練，得到參數固定的第一深度卷積神經網絡和參數固定的第二深度卷積神經網絡；步驟3：將單目圖像輸入所述第一深度卷積神經網絡輸出單目圖像對應的視差圖像，將所述圖像序列輸入所述第二深度卷積神經網絡輸出相機空間位姿變換矩陣。

本申請提供的另一種實施方式為：所述第一深度卷積神經網絡為單目圖像景深估計網絡，用于估計單目相機與場景之間相對距離；所述第二深度卷積神經網絡為單目相機空間位姿估計網絡，用于估計單目相機空間位置與姿態。

本申請提供的另一種實施方式為：所述單目圖像景深估計網絡基于深度殘差網絡，所述單目圖像景深估計網絡為“編碼-解碼”結構。

本申請提供的另一種實施方式為：在所述“編碼”過程中，網絡通過卷積層、激活層和池化層不斷提取想高維特征并降采樣；在所述“解碼”過程中，網絡通過反卷積對圖像做上采樣處理，輸出多尺度視差圖像。