[發(fā)明專利]一種無監(jiān)督位姿與深度計算方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911196111.3
• 申請日: 2019-11-29
• 公開（公告）號: CN111028282A
• 公開（公告）日: 2020-04-17
• 發(fā)明（設(shè)計）人: 蔡行;張?zhí)m清;李承遠(yuǎn);王璐瑤;李宏
• 申請（專利權(quán)）人: 浙江省北大信息技術(shù)高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 浙江英普律師事務(wù)所 33238
• 代理人: 毛愛東

1.一種無監(jiān)督位姿與深度計算方法，其特征在于，包含位姿網(wǎng)絡(luò)模型TNet、深度網(wǎng)絡(luò)模型DNet、圖像視覺重建模型V和損失函數(shù)，包括以下步驟：

S1，預(yù)備單目視頻數(shù)據(jù)集；

S2，從步驟S1中的單目視頻數(shù)據(jù)集中抽取連續(xù)圖像，將相鄰圖像依次輸入位姿網(wǎng)絡(luò)模型TNet，得到圖像間共同的特征F，特征F輸入位姿網(wǎng)絡(luò)模型TNet，分別得到前向運(yùn)動相對位姿和后向運(yùn)動相對位姿；

S3，將步驟S2中的連續(xù)圖像輸入深度網(wǎng)絡(luò)模型DNet，通過前向傳播得到圖像的深度估計結(jié)果和圖像對應(yīng)深度；

S4，將S2中的連續(xù)圖像、前向運(yùn)動相對位姿、后向運(yùn)動相對位姿和圖像對應(yīng)深度，輸入圖像視覺重建模型V，得到扭曲圖像；

S5，計算扭曲圖像與S2中的連續(xù)圖像間的重建誤差，計算深度估計結(jié)果的平滑誤差，計算孿生一致性誤差；

S6，通過重建誤差、平滑誤差和孿生一致性誤差求和得到損失函數(shù)，進(jìn)行反向傳播，進(jìn)行迭代更新，直到損失函數(shù)收斂；

S7，進(jìn)行預(yù)測，利用位姿網(wǎng)絡(luò)模型Tnet和深度網(wǎng)絡(luò)模型DNet，分別前向傳播，計算出相機(jī)相對位姿和預(yù)測深度圖。

2.根據(jù)權(quán)利要求1所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述步驟S5中扭曲圖像與S2中的連續(xù)圖像間重建誤差的計算公式為：

L_reprojection＝α*L_photometric+(1-α)*L_ssim

其中，Lphotometric為光度誤差，Lssim為圖像間相似性，α是權(quán)重系數(shù)。

3.根據(jù)權(quán)利要求2所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述Lphotometric為：

其中，It是連續(xù)圖像，Is是扭曲圖像，L為連續(xù)圖像圖像數(shù)減1。

4.根據(jù)權(quán)利要求2所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述Lssim為：

其中，It是連續(xù)圖像，Is是扭曲圖像。

5.根據(jù)權(quán)利要求1所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述步驟S6中孿生一致性誤差為：

其中，其中I為單位矩陣，L為連續(xù)圖像圖像數(shù)減1，T為位姿變換矩陣。

6.根據(jù)權(quán)利要求5所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述步驟S6中損失函數(shù)為：

L_Total＝L_{Reconstruction}+β*L_Smooth+γ*L_Twin

其中，Lreconstruction為，Lsoooth為深度估計結(jié)果的平滑誤差，β和γ為權(quán)重系數(shù)。

7.根據(jù)權(quán)利要求1所述的無監(jiān)督位姿與深度計算方法，其特征在于，所述步驟S6中損失函數(shù)利用Adam優(yōu)化方法進(jìn)行訓(xùn)練。

8.一種無監(jiān)督位姿與深度計算的系統(tǒng)，其特征在于，包括位姿網(wǎng)絡(luò)模塊TNet、深度網(wǎng)絡(luò)模塊DNet、圖像視覺重建模塊V和損失函數(shù)模塊；位姿網(wǎng)絡(luò)模塊TNet進(jìn)行位姿估計，深度網(wǎng)絡(luò)模塊DNet進(jìn)行深度估計，圖像視覺重建模塊V進(jìn)行圖像投影，位姿網(wǎng)絡(luò)模塊TNet和深度網(wǎng)絡(luò)模塊DNet通過損失函數(shù)模塊約束。

9.根據(jù)權(quán)利要求8所述的無監(jiān)督位姿與深度計算的系統(tǒng)，其特征在于，所述模塊TNet包含編碼器和孿生模塊，編碼器包含卷積層和激活函數(shù)，孿生模塊包含相同結(jié)構(gòu)的位姿預(yù)測模塊，位姿預(yù)測模塊包含ConvLstm和卷積層；模塊DNet包含編碼器和解碼器，編碼器包含卷積層和Dwise，解碼器包含反卷積層、卷積層和Dwise。