[發明專利]場景深度和相機運動預測方法及裝置、電子設備和介質

在審

• 申請號: 202111204857.1
• 申請日: 2020-04-28
• 公開（公告）號: CN113822918A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 韓滔;張展鵬;成慧
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/207;G06T7/73
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種場景深度預測方法，其特征在于，包括：

獲取t時刻的目標圖像幀；

通過場景深度預測網絡利用t-1時刻的第一隱狀態信息對所述目標圖像幀進行場景深度預測，確定所述目標圖像幀對應的預測深度圖，其中，所述第一隱狀態信息包括與場景深度相關的特征信息，所述場景深度預測網絡是基于相機運動預測網絡輔助訓練得到的；

其中，所述方法還包括：

獲取t時刻對應的樣本圖像幀序列，其中，所述樣本圖像幀序列包括t時刻的第一樣本圖像幀和所述第一樣本圖像幀的相鄰樣本圖像幀；

通過相機運動預測網絡利用t-1時刻的第二隱狀態信息對所述樣本圖像幀序列進行相機位姿預測，確定所述樣本圖像幀序列對應的樣本預測相機運動，其中，所述第二隱狀態信息包括與相機運動相關的特征信息；

通過待訓練的場景深度預測網絡利用t-1時刻的第一隱狀態信息對所述第一樣本圖像幀進行場景深度預測，確定所述第一樣本圖像幀對應的樣本預測深度圖，其中，所述第一隱狀態信息包括與場景深度相關的特征信息；

根據所述樣本預測深度圖和所述樣本預測相機運動，構建損失函數；

根據所述損失函數，對所述待訓練的場景深度預測網絡進行訓練，以得到所述場景深度預測網絡。

2.根據權利要求1所述的方法，其特征在于，所述通過場景深度預測網絡利用t-1時刻的第一隱狀態信息對所述目標圖像幀進行場景深度預測，確定所述目標圖像幀對應的預測深度圖，包括：

對所述目標圖像幀進行特征提取，確定所述目標圖像幀對應的第一特征圖，其中，所述第一特征圖為與場景深度相關的特征圖；

根據所述第一特征圖和t-1時刻的所述第一隱狀態信息，確定t時刻的所述第一隱狀態信息；

根據t時刻的所述第一隱狀態信息，確定所述預測深度圖。

3.根據權利要求2所述的方法，其特征在于，t-1時刻的所述第一隱狀態信息包括t-1時刻的不同尺度下的所述第一隱狀態信息；

所述對所述目標圖像幀進行特征提取，確定所述目標圖像幀對應的第一特征圖，包括：

對所述目標圖像幀進行多尺度下采樣，確定所述目標圖像幀對應的不同尺度下的所述第一特征圖；

所述根據所述第一特征圖和t-1時刻的所述第一隱狀態信息，確定t時刻的所述第一隱狀態信息，包括：

針對任一尺度，根據該尺度下的所述第一特征圖和t-1時刻的該尺度下的所述第一隱狀態信息，確定t時刻的該尺度下的所述第一隱狀態信息；

所述根據t時刻的所述第一隱狀態信息，確定所述預測深度圖，包括：

將t時刻的不同尺度下的所述第一隱狀態信息進行特征融合，確定所述預測深度圖。

4.根據權利要求1所述的方法，其特征在于，所述根據所述樣本預測深度圖和所述樣本預測相機運動，構建損失函數，包括：

根據所述樣本預測相機運動，確定所述樣本圖像幀序列中所述第一樣本圖像幀的相鄰樣本圖像幀相對所述第一樣本圖像幀的重投影誤差項；

根據所述樣本預測深度圖的分布連續性，確定懲罰函數項；

根據所述重投影誤差項和所述懲罰函數項，構建所述損失函數。

5.根據權利要求1所述的方法，其特征在于，所述場景深度預測網絡采用的是多尺度特征融合機制，所述場景深度預測網絡中包括：深度編碼器、多尺度卷積門控循環單元和深度解碼器；

所述通過場景深度預測網絡利用t-1時刻的第一隱狀態信息對所述目標圖像幀進行場景深度預測，確定所述目標圖像幀對應的預測深度圖，包括：

利用所述深度編碼器，對所述目標圖像幀進行多尺度下采樣，確定所述目標圖像幀對應的不同尺度下的第一特征圖，其中，所述第一特征圖為與場景深度相關的特征圖；

針對任一尺度，利用所述多尺度卷積門控循環單元中該尺度下的卷積門控循環單元，根據該尺度下的所述第一特征圖和t-1時刻的該尺度下的所述第一隱狀態信息，確定t時刻的該尺度下的所述第一隱狀態信息；

利用所述深度解碼器，將t時刻的不同尺度下的所述第一隱狀態信息進行特征融合，確定所述預測深度圖。