[發明專利]一種結合梯度和紋理特征的單目圖像深度估計方法

有效

• 申請號: 201911030699.5
• 申請日: 2019-10-28
• 公開（公告）號: CN110889868B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 孔清;顏成鋼;史治國;劉彥禹;管飛;孫垚棋;張繼勇;張勇東;沈韜
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/529
• 分類號: G06T7/529;G06V10/82;G06V10/774
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種結合梯度和紋理特征的單目圖像深度估計方法，其特征在于主要分成訓練編碼深度高維特征-訓練編碼RGB圖高維特征-解碼高維特征三個部分，具體包含以下步驟：

步驟1：預訓練目標高維特征，設計訓練編碼深度高維特征，并解碼成原輸入深度圖的模型結構；

步驟2：提取單目圖像的附加圖像特征；附加特征主要是針對圖像提取相應的紋理特征和梯度特征；

步驟3：構造訓練高維特征學習的編碼器；

步驟4：將訓練完成的高維特征輸入到步驟1訓練完成的解碼器中，進行解碼得到我們最后的深度輸出圖；

步驟1具體實現如下：

1-1.設計深度圖-高維特征的編碼器模塊，參照unet網絡結構：通過初始卷積模塊做初步的特征提取；再經過4次1/2的下采樣模塊，作為主要編碼的主體，將特征達到一定高的維度空間內，讓模型充分學習圖像的深度特征信息；始卷積模塊包括兩個Conv卷積-BatchNormalization批正則化-ReLU激活操作模塊；下采樣模塊包括Maxpooling最大池化-Conv卷積-BatchNormalization批正則化

-ReLU激活-Conv卷積-ReLU激活操作模塊；

1-2.設計高維特征-深度圖的解碼模塊，通過上采樣卷積模塊作為解碼的主體，以此重復4次執行，得到原深度圖的等比例的輸出圖；上采樣卷積模塊主要包括upsampling上采樣-Conv卷積

-BatchNormalization批正則化-ReLU激活-Conv卷積

-BatchNormalization批正則化-ReLU激活的操作模塊；

1-3.選取最佳損失函數，高效地讓模型學習高維特征，并把高維特征解碼成等同的深度圖；為了促進模型的收斂，我們把輸出深度圖和輸入深度圖的L1范數作為損失函數；

步驟2具體實現如下：

2-1.提取紋理特征：

2-1-1.選擇適用的濾波器，降低或消除提取不同特征之間的相關性；

2-1-2.利用小波變換的變焦特性，通過在低頻帶中以高頻率分辨率和低時間分辨率對圖像進行水平和垂直兩次濾波，以及在低頻率分辨率和高時間分辨率的高頻帶中對圖像進行水平和垂直方向上的兩次濾波；

2-2.提取梯度特征：

2-2-1.對圖像灰度化和Gamma歸一化，減少其他因素對圖像的影響；

2-2-2.對圖像計算圖像的梯度，保存每個像素的梯度值和梯度方向；

2-2-3.把圖像劃分成block，并在block內劃分更小的單元格cell；選取所需尺寸大小的block滑動步長，從圖像中選取block；

2-2-4.在block內的單元格cell內進行加權投影，在bin方向投影，并計算相應的投影和；

2-2-5.根據計算得到的單元格cell梯度特征，在全圖內構建block梯度特征并進行歸一化，獲取梯度特征圖；

步驟3具體實現如下：

3-1.將圖像的原圖和梯度特征圖進行封裝，整體作為編碼器的輸入；

3-2.編碼器的網絡參照unet網絡結構：通過兩次初始卷積模塊；再經過4次1/2的下采樣模塊，作為主要編碼的主體，得到與預訓練高維特征等同的高維特征；始卷積模塊包括兩個Conv卷積

-BatchNormalization批正則化-ReLU激活操作模塊；下采樣模塊包括Maxpooling最大池化-Conv卷積-BatchNormalization批正則化

-ReLU激活-Conv卷積-ReLU激活操作模塊；

3-3.選取損失函數，最小化訓練部分的高維特征與預訓練的目標高維特征的L1loss，高效地讓模型學習高維特征的提取。