[發明專利]一種基于對比學習的單目深度估計網絡的優化方法

在審

• 申請號: 202110417560.7
• 申請日: 2021-04-19
• 公開（公告）號: CN113077505A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 張敏;李建華;盧湖川
• 申請（專利權）人: 大連理工大學人工智能大連研究院;大連理工大學
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 青島恒昇眾力知識產權代理事務所(普通合伙) 37332
• 代理人: 蘇友娟

1.一種基于對比學習的單目深度估計網絡的優化方法，其特征在于，具體包括以下步驟：

S1，數據集組織，按照訓練和測試集劃分方法，從場景類別中選取部分原始數據進行訓練，設置原始數據的參數，組織輸入數據；

S2，采用無監督的深度估計網絡預測得到初始深度圖，利用連續視頻圖像之間的重投影關系作為約束去聯合訓練深度估計和相機位姿兩部分網絡；

S3，對初始深度圖進行數據預處理，對時序上相鄰的深度圖進行重采樣，以保持相鄰幀和目標幀在像素位置上保持對齊；

S4，使用時序參考網絡對初始深度圖進行優化，使用基于時序的深度估計模型，對重采樣的初始深度圖之間的深度值變化關系進行建模；

S5，計算損失函數，根據對比學習的思想設計一致性損失函數，優化整個網絡。

2.根據權利要求1所述的一種基于對比學習的單目深度估計網絡的優化方法，其特征在于，步驟S1中設置原始數據的參數，組織輸入數據具體指的是，將每三幀連續的圖像作為一段時序數據，作為輸入數據，記為{I_t，t∈{t-1，t，t+1}}，取t時刻作為目標時刻，t-1時刻和t+1時刻作為參考幀。

3.根據權利要求1所述的一種基于對比學習的單目深度估計網絡的優化方法，其特征在于，步驟S2具體包括以下步驟

無監督深度估計模型的輸入是一張RGB圖像I_t，輸出對應的深度圖D_t，表示為F_D：I_t→D_t；相機位姿估計模型為F_T：(I_t，I_t′)→T_t→t′；目標幀I_t與相鄰幀I_t′RGB圖像之間的重投影關系可以表示為：p_t′＝KT_t→t′D_t(p_t)K^-1p_t；其中，K表示相機內參，K^-1表示相機內參矩陣的逆矩陣，D_t(p_t)表示預測深度圖D_t在p_t像素位置的深度值，p_t′表示重投影之后的像素位置，T_t→t′表示從目標幀到參考幀相機的位姿變換矩陣；

根據重投影得到的位置對應關系，使用視頻序列對目標幀的RGB圖像進行重構，這個過程表示為I′_t(p_t)＝I_t′p_t′；

通過最小化原始RGB圖像I_t和重建的RGB圖像I′_t之間的誤差來聯合優化單目深度估計和相機位姿網絡，計算公式為其中，I_t表示原始RGB圖像，I′_t表示經過重投影關系重構的RGB圖像，SSIM為圖間相似度，λ為權重因子。

4.根據權利要求3所述的一種基于對比學習的單目深度估計網絡的優化方法，其特征在于，λ為0.85。

5.根據權利要求1所述的一種基于對比學習的單目深度估計網絡的優化方法，其特征在于，步驟S3中對時序上相鄰的深度圖進行重采樣，具體技術方法為D′_t′(p_t)＝D_t′p_t′，其中表示經過重采樣的初始深度圖。