[發明專利]基于聯合自注意力機制的單目深度方法

在審

• 申請號: 202110239390.8
• 申請日: 2021-03-04
• 公開（公告）號: CN112967327A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 張玉亮;趙智龍;付煒平;孟榮;范曉丹;劉洪吉;張寧;王東輝;張東坡;李興文;曾建生
• 申請（專利權）人: 國網河北省電力有限公司檢修分公司;國家電網有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 張曉龍

本發明涉及一種基于聯合自注意力機制的單目深度估計方法，其包括：基于聯合注意力模塊的編碼器、基于U?net的解碼器和一個基于特征金字塔的連接模塊組成；按所需深度圖的分辨率設置各卷積層參數；搭建估計網絡模型；使用訓練數據集訓練網絡模型，提取解碼器的輸出；計算解碼器輸出和其對應深度圖，結合損失函數對模型參數進行修改；使用訓練完成后的最終模型對輸入圖像進行深度預測。本發明在編碼器模塊中使用了空間自注意力機制、通道自注意力機制并引入過濾機制從而利用局部特征映射并結合全局上下信息來提取深度信息，解決了在卷積神經網絡中無法有效集成局部信息和全局信息的問題，進一步提高深度估計的精度。

技術領域

本發明涉及三維圖像深度估計技術領域，特別涉及一種基于聯合自注意力機制的單目深度方法。

背景技術

圖像深度信息對于計算機理解真實世界的3D場景至關重要，而深度估計技術是理解場景中幾何關系的重要組成部分，也是環境感知的基本任務，它廣泛用于3D圖重建，機器人導航，姿態估計及定位與地圖構建(SLAM)等任務。深度估計任務的內容是獲取圖像的深度信息，即每個像素點表示的場景與觀察者之間的距離。目前，主流使用激光雷達和深度傳感器獲取物體距離信息，但這些傳感器存在價格高昂，對使用環境要求高等缺陷，例如激光雷達在大雨、濃煙、濃霧等惡劣環境下，存在極大的衰減，直接影響其可用測量距離和測量精度。因此從圖像中獲取距離信息成為業界的首選方案。

近年來，隨著計算機技術的發展，深度學習在計算機視覺領域取得了一系列突破性進展，使用深度學習技術進行單目圖像深度估計成為了熱門領域。相比于使用傳感器進行測量，通過計算機視覺的解決方案具有小巧方便、價格低廉，適應性廣的特點。通常使用單目、雙目，甚至多目相機采集原始圖像，使用立體相機時需要固定的位置和仔細的校準，帶來巨大的時間消耗并且該方法計算量大難以滿足系統對實時性的需求。單目相機相比于激光或立體相機等傳感器具有成本低廉，使用方便的優勢。因其體積較小，對使用環境要求低，在機器人、無人車等設備中使用單目相機部署方便并能夠極大的節約占用空間。因單目圖像深度估計計算量小，時間復雜度較低，可以滿足實時計算的需求，越來越多的研究者開始探索使用單目相機進行深度估計。近年來，逐漸興起的基于卷積神經網絡(CNN)的方法極大地提高了單目圖像深度估計的性能。

Laina等人提出利用帶有殘差網絡的全卷積網絡進行深度估計，設計提出了一個有效的將小卷積代替大卷積的上采樣方法并設計引入Huber loss的損失函數取得了良好的效果。Cao等人將深度估計的回歸問題轉化為離散的分類問題，并使用全卷積的深度殘差網絡實現分類，使用CRF優化最終的深度估計值。Qi等人提出了幾何神經網絡(GeoNet)聯合預測單個圖像的深度和曲面法向量圖，通過以CNN為主干網絡分別構建深度到向量、向量到深度的兩分支模型，GeoNet整合了深度和曲面法線之間的幾何關系，這兩個分支有效提升了模型預測效果，獲得了較高的一致性和相應的精度。針對單目深度估計網絡中存在的細節丟失問題，Hao等人提出了使用空洞卷積來提取高層次的上下文信息，同時也保留了許多特征圖上的空間細節信息。通過將空洞卷積結合Res-Net101得到致密特征提取模塊(DFE)。利用不同級別的DFE提取的信息，創新性地提出了深度圖生成模塊(DMG)，DMG由注意力模塊AFB(Attention Fuse Block)和通道衰減模塊CRB(Channel Reduce Block)組成，該方法在保證區域深度預測正確性的基礎上，細化了預測圖的細節特征。FU等人提出DORN網絡同樣將回歸問題轉換為分類問題，該分類問題不同于普通的分類問題，深度值分類存在一定的有序性，所有的類別可以按照從小到大的次序排列，因此提出了“有序回歸”概念，該方法采用空間增加離散進行采樣，避免了訓練過程中大深度值對網絡訓練地影響并在測試集上取得了良好的效果。

雖然基于卷積神經網絡的單目深度估計模型已經取得了不錯的成果，但仍面臨一些挑戰和問題。

目前，深度估計方法的預測深度圖仍存在邊緣模糊、細節缺失以及邊緣信息丟失的問題，具體來說，大多數深度估計網絡都使用卷積來捕獲局部信息，卷積的接受域很小，無法更全面提取遠距離空間信息。