[發(fā)明專利]一種基于深度神經網絡的雙目深度估計方法

有效

• 申請?zhí)枺?/td>: 201811453789.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109377530B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設計）人: 侯永宏;呂曉冬;許賢哲;陳艷芳;趙健
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T3/40;G06N3/04
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 陳娟

1.一種基于深度神經網絡的雙目深度估計方法，步驟如下：

1)對輸入的左、右視點圖像通過預處理使數(shù)據增強；

2)構建雙目深度估計的多尺度網絡模型，模型包含多個卷積層、激活層、殘差連接、多尺度池化連接以及線性上采樣層；

3)根據設計的多尺度網絡模型設置初始化參數(shù)，設計損失函數(shù)使其在不斷的訓練過程中取得最小化結果，從而獲得最優(yōu)的網絡權重；

4)將待處理的圖像輸入到網絡模型中，得到對應的深度圖，并不斷重復以上這幾個步驟直到網絡收斂或達到訓練次數(shù)；

步驟3)具體為：網絡輸入的左右視圖像素值分別表示為I_l、I_r，當網絡獲得左圖的預測深度圖時，利用相機內參矩陣K^-1將在圖像坐標系下的I_r轉換為相機坐標系，再利用外參矩陣T將其轉換到左圖的相機坐標系下，之后通過內參矩陣K再次轉到左圖的圖像坐標系，此時獲得過渡圖具體公式如下所示：

其中p_r為相應圖像像素值，投影變換使得過渡圖中像素坐標為連續(xù)值，因此利用4鄰域插值法確定每個坐標的像素值，最終獲取目標圖

式中，為目標圖相應像素值，a、b為各個臨近點的坐標值，w^ab為相應坐標像素值的權重，其正比于目標點與臨近點的空間距離，且

采用Huber損失函數(shù)來構造重建損失函數(shù)

在上式中，x表示目標圖和輸入圖相應像素點差值，N為圖像像素點個數(shù)，c為經驗設置閾值。

2.根據權利要求1所述的基于深度神經網絡的雙目深度估計方法，其特征在于：所述的多尺度網絡模型采用三個殘差網絡結構對輸入進行多尺度卷積，每個殘差模塊包括兩個卷積層和一個恒等映射，網絡中第二層、第六層和第十四層為多尺度池化模塊，對第二層和第六層輸出進行平均池化操作，并與第十四層輸出一同進行1*1的卷積。

3.根據權利要求2所述的基于深度神經網絡的雙目深度估計方法，其特征在于：左右視圖通過前端網絡處理，通過多尺度池化模塊后采用特征相關操作關聯(lián)左右視圖的特征信息，計算兩圖間特征相關性：

c(x₁，x₂)＝∑_{o∈[-k，k]×[-k，k]}f_l(x₁+o)，f_r(x₂+o)

c為左圖特征以x₁為中心的圖像塊與右圖特征以x₂為中心的圖像塊的相關性，f_l為左圖特征，f_r為右圖特征，圖像塊大小為k*k。

4.根據權利要求3所述的基于深度神經網絡的雙目深度估計方法，其特征在于：網絡根據相關性特征恢復圖像原始分辨率，利用反卷積、上采樣獲取不同尺度深度圖，線性上采樣操作中對于上一層輸出采用雙線性插值生成圖像，并利用殘差學習與上層上采樣層進行躍層連接，最終將圖像恢復到原始大小。