[發明專利]一種無監督位姿與深度計算方法及系統

在審

• 申請號: 201911196111.3
• 申請日: 2019-11-29
• 公開（公告）號: CN111028282A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 蔡行;張蘭清;李承遠;王璐瑤;李宏
• 申請（專利權）人: 浙江省北大信息技術高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 毛愛東

1.一種無監督位姿與深度計算方法，其特征在于，包含位姿網絡模型TNet、深度網絡模型DNet、圖像視覺重建模型V和損失函數，包括以下步驟：

S1，預備單目視頻數據集；

S2，從步驟S1中的單目視頻數據集中抽取連續圖像，將相鄰圖像依次輸入位姿網絡模型TNet，得到圖像間共同的特征F，特征F輸入位姿網絡模型TNet，分別得到前向運動相對位姿和后向運動相對位姿；

S3，將步驟S2中的連續圖像輸入深度網絡模型DNet，通過前向傳播得到圖像的深度估計結果和圖像對應深度；

S4，將S2中的連續圖像、前向運動相對位姿、后向運動相對位姿和圖像對應深度，輸入圖像視覺重建模型V，得到扭曲圖像；

S5，計算扭曲圖像與S2中的連續圖像間的重建誤差，計算深度估計結果的平滑誤差，計算孿生一致性誤差；

S6，通過重建誤差、平滑誤差和孿生一致性誤差求和得到損失函數，進行反向傳播，進行迭代更新，直到損失函數收斂；

S7，進行預測，利用位姿網絡模型Tnet和深度網絡模型DNet，分別前向傳播，計算出相機相對位姿和預測深度圖。

2.根據權利要求1所述的無監督位姿與深度計算方法，其特征在于，所述步驟S5中扭曲圖像與S2中的連續圖像間重建誤差的計算公式為：

L_reprojection＝α*L_photometric+(1-α)*L_ssim

其中，Lphotometric為光度誤差，Lssim為圖像間相似性，α是權重系數。

3.根據權利要求2所述的無監督位姿與深度計算方法，其特征在于，所述Lphotometric為：

其中，It是連續圖像，Is是扭曲圖像，L為連續圖像圖像數減1。

4.根據權利要求2所述的無監督位姿與深度計算方法，其特征在于，所述Lssim為：

其中，It是連續圖像，Is是扭曲圖像。

5.根據權利要求1所述的無監督位姿與深度計算方法，其特征在于，所述步驟S6中孿生一致性誤差為：

其中，其中I為單位矩陣，L為連續圖像圖像數減1，T為位姿變換矩陣。

6.根據權利要求5所述的無監督位姿與深度計算方法，其特征在于，所述步驟S6中損失函數為：

L_Total＝L_{Reconstruction}+β*L_Smooth+γ*L_Twin

其中，Lreconstruction為，Lsoooth為深度估計結果的平滑誤差，β和γ為權重系數。

7.根據權利要求1所述的無監督位姿與深度計算方法，其特征在于，所述步驟S6中損失函數利用Adam優化方法進行訓練。

8.一種無監督位姿與深度計算的系統，其特征在于，包括位姿網絡模塊TNet、深度網絡模塊DNet、圖像視覺重建模塊V和損失函數模塊；位姿網絡模塊TNet進行位姿估計，深度網絡模塊DNet進行深度估計，圖像視覺重建模塊V進行圖像投影，位姿網絡模塊TNet和深度網絡模塊DNet通過損失函數模塊約束。

9.根據權利要求8所述的無監督位姿與深度計算的系統，其特征在于，所述模塊TNet包含編碼器和孿生模塊，編碼器包含卷積層和激活函數，孿生模塊包含相同結構的位姿預測模塊，位姿預測模塊包含ConvLstm和卷積層；模塊DNet包含編碼器和解碼器，編碼器包含卷積層和Dwise，解碼器包含反卷積層、卷積層和Dwise。