[發明專利]一種基于深度學習和傅里葉域分析的圖像深度估計算法

在審

• 申請號: 201910242784.1
• 申請日: 2019-03-28
• 公開（公告）號: CN109978935A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 唐曉嬌;陳麗芳
• 申請（專利權）人: 江南大學
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于深度學習和傅里葉域分析的圖像深度估計算法，其包括，讀取數據集里的圖像對，將圖像對輸入提出的網絡架構中獲取重建視圖；將圖像對和重建視圖帶入損失函數，訓練并確認網絡架構，得到最初視差圖；帶入以裁剪比λ裁剪的圖像對至確認的網絡架構，獲取視差映射候選對象；以及，融合視差映射候選對象，估計深度并顯示于顯示設備上；其中，所述圖像對區分為左視圖和右視圖，所述重建視圖區分為重建左視圖和重建右視圖；本發明基于深度學習的網絡架構和傅里葉域分析無監督單目圖像估計深度學習算法，有效提高了深度圖精度和運動圖像深度估計的精度，改進的網絡架構，提升算法準確度和魯棒性。

技術領域

本發明涉及的計算機視覺技術領域，尤其涉及一種基于深度學習和傅里葉域分析的圖像深度估計算法。

背景技術

近年來，深度信息在傳感器中獲得了越來越多的應用。獲取深度信息的技術主要有雙目立體匹配，TOF(Time of Flight，飛行時間)，單目結構光，激光雷達等技術，這些技術可以為傳感器增加額外的深度信息，隨著深度學習的發展，學者們開始大量地嘗試運用卷積神經網絡(CNN)來研究單目圖像的深度估計問題，語義分割與深度估計都是像素級標簽任務，最初用來研究語義分割問題的全卷積網絡(FCN)可以有效地保留空間信息，因此一些學者同樣用FCN來研究。然而大部分現有的方法將深度估計問題看作有監督的回歸問題，因此需要大量相應的ground truth深度數據進行訓練，在各種場景中記錄有質量的深度數據是一個有挑戰性的問題。

Hinton提出了一種深度信念網絡模型可以使用一種叫做貪婪逐層訓練策略的算法來進行有效的訓練，這很快引起了人們對神經網絡的研究熱情，隨后，加拿大高等研究院提出這種訓練方法也適用于其他不同類型的深度神經網絡，并且能夠系統的提高網絡模型在測試樣本上的泛化能力，美國Stanford大學計算機系教授開發出新的機器視覺算法，利用馬爾科夫場訓練的模型，在單目深度估計上取得了突破性的的進展，在一副靜止的畫面中，機器人能通過該算法大致地估計出障礙物的大概距離，Karsch等人進了深度融合的方式，并引入了時域上的約束條件，然而，基于采樣的深度估計算法依賴于大型的圖像深度數據庫，在運算時存儲和計算效率較低，并且很有可能出現數據庫中無法找到與測試圖像相似圖像的情況，使得深度恢復精度很低，2014年，Eign等人，率先嘗試使用CNN來進行圖像的深度估計工作，他們使用多尺度CNN模型，通過優化像素最小二乘損失，從圖像直接回歸出深度值，Li等人提出了在超像素級進行學習的方法，并引入了條件隨機場對CNN網絡的輸出結果進行約束，使其深度值在空間上更加平滑；Liu等將CNN和CRF合并到同一個網絡，以端到端的方式進行訓練，CNN特征由此能夠與CRF深度估計模型更好地結合，由此進一步帶來了深度估計準確率的提升，雖然深度學習在諸如無人駕駛、目標識別與追蹤、語音識別等領域取得了成果，然而要將單張圖像深度估計應用在深度學習中時降低其功耗并且效率大大降低，不能滿足使用需求。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有基于深度學習和傅里葉域分析的單目圖像深度估計算法存在的問題，提出了本發明。

因此，本發明目的是提供一種基于深度學習和傅里葉域分析的單目圖像深度估計算法，其基于深度學習的網絡架構和傅里葉域分析無監督單目圖像估計深度學習算法，有效提高了深度圖精度和運動圖像深度估計的精度，改進的網絡架構，提升算法準確度和魯棒性。

為解決上述技術問題，本發明提供如下技術方案：一種基于深度學習和傅里葉域分析的圖像深度估計算法，其包括，

讀取數據集里的圖像對，將圖像對輸入提出的網絡架構中獲取重建視圖；

將圖像對和重建視圖帶入損失函數，訓練并確認網絡架構，得到最初視差圖；