[發明專利]基于單張圖像的多任務增強的深度估計系統

在審

• 申請號: 201811316680.2
• 申請日: 2018-11-07
• 公開（公告）號: CN111160378A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 漆進;胡順達;秦金澤
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于單張圖像的多任務增強的深度估計系統，所述方法包括：

(1)對帶深度標簽圖片和帶有分割標簽的圖片和帶有深度標簽和分割標簽的圖片，進行預處理，得到訓練樣本和驗證樣本；

(2)構建雙任務模型，利用(1)中得到的訓練樣本，間隔著用帶有深度標簽的圖片和帶有分割標簽的圖片對網絡進行訓練，得到訓練好的模型；

(3)利用帶有深度標簽和分割標簽的數據對(2)訓練得到的模型進行微調，得到最后的模型；

(4)對帶有深度標簽的測試圖片按照(1)中的預處理方法，得到處理后的測試圖片；

(5)利用(3)中訓練好的網絡，預測(4)中處理后的預測圖片，得到預測結果。

2.根據權利要求1所述的方法，其特征在于，所述步驟(1)中具體包括：

(11)對樣本庫中帶有分割標簽的圖片，進行左右翻轉，一定比例的拉伸的數據增強，對所有圖片都進行改變對比度，飽和度，光照的數據增強，和隨機裁剪，得到數據增強后圖片，將其按照一定比例分成訓練樣本和驗證樣本，樣本大小是224×224；

(12)對帶分割標簽的圖片的分割標簽進行如(11)中的左右翻轉和一定比例的拉伸，保持與圖片的形變的一致，對所有被裁剪的圖片的標簽進行與圖片一致的裁剪；

(13)用(12)中的數據增強后的帶分割標簽的圖片和帶深度信息的圖片分別進行歸一化，得到可訓練樣本和驗證樣本。

3.根據權利要求1所述的方法，其特征在于，所述步驟(2)中具體包括：

(21)首先構建一個如圖(1)的網絡,其中網絡使用四倍下采樣殘差網絡模塊提取特征(Residual Block)，之后特征依次通過卷積模塊(convolution block)，池化層(poolingblock)，直到特征圖大小是原圖的八分之一，再經過一個多尺度的模塊(multiscaleblock)融合特征，之后和之前的卷積模塊輸出特征連接，進入二插值上采樣模塊(interpolation)和反卷積模塊(deconvolution block),最后是一個卷積和二插值聯合模塊輸出圖像的分割預測和深度估計；

網絡中的卷積模塊和反卷積模塊如圖(2)是由許多不同尺寸的卷積模塊堆疊而成，卷積模塊和反卷積模塊不同之處在于卷積層分別是卷積層和反卷積層，模塊是先由一個3×3的卷積核，再分別將特征輸出到帶1×1卷積核的卷積層的通道，帶3×3卷積核的卷積層和pool層的通道，帶5×1卷積核的卷積層核帶1×5的卷積核的卷積層的通道，帶3×1卷積核的卷積層核帶1×3的卷積核的卷積層的通道，最后由一個帶3×3的卷積核卷積層融合特征，之后重復剛剛的多通道卷積，構建如圖(2)的卷積模塊，該模塊中的卷積層都是卷積層加上批次標準化層(batch normlization)和指數線性單元層(Exponential Linera Unit)三種層堆疊的；

網絡中的多尺度特征融合模塊如圖(3)所示，由四路不同尺度的特征提取通道組成，模塊是先由一個3×3的卷積核，再分別進入到帶1×1卷積核的卷積層，帶1×3卷積核的卷積層和帶3×1卷積核的卷積層的通道；帶1×1卷積核的卷積層，帶1×5卷積核的卷積層和帶5×1卷積核的卷積層的通道；帶1×1卷積核的卷積層，帶3×3卷積核，12膨脹系數的膨脹卷積層，帶1×1卷積核的卷積層的通道；帶1×1卷積核的卷積層，帶3×3卷積核，18膨脹系數的膨脹卷積層，帶1×1卷積核的卷積層的通道，最后由一個帶3×3的卷積核卷積層融合特征，該模塊中的卷積層都是卷積層加上批次標準化層(batch normlization)和指數線性單元層(Exponential Linera Unit)三種層堆疊的；

網絡中最后的卷積層和二插值上采樣層如圖(4)所示，特征圖進入該模塊時分別流向兩個相似的通道，一個預測深度信息，一個預測分割信息，網絡采用卷積層加二插值上采樣層的堆疊，具體是卷積層，之后分別進入二倍上采樣后卷積層，再二倍上采樣和四倍上采樣，融合后一個3×3卷積層輸出；

(22)使用(21)中構建的網絡訓練(13)中得到的訓練樣本，使用批量梯度下降法訓練網絡，帶分割信息的樣本和帶深度信息的樣本分批次間隔輸入模型中訓練；

其中在預測分割時，使用交叉熵損失函數作為目標函數，其中損失函數如下：

上式中，所述x_k代表第k個樣本預測正確的標簽的預測概率，y_k代表第k個樣本的的標簽的one hot編碼，即y_k＝1；

為了防止過擬合，在代價函數后再加上一個L2正則項，得到的代價函數如下：

其中在預測深度信息時，使用的差的平方和為損失函數；

上式中，所述x_k代表第k個像素的預測深度距離，y_k代表第k個像素的實際深度距離，

網絡以以上的損失函數最小為目標，以(13)的驗證樣本的準確度為標準，得到預訓練網絡。