[發(fā)明專利]圖像分析方法及相關(guān)模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210307855.3
• 申請(qǐng)日: 2022-03-25
• 公開(kāi)（公告）號(hào): CN114612545A
• 公開(kāi)（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 章國(guó)鋒;鮑虎軍;葉偉才;余星源
• 申請(qǐng)（專利權(quán)）人: 浙江商湯科技開(kāi)發(fā)有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06T7/73;G06T7/269;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

本申請(qǐng)公開(kāi)了一種圖像分析方法及相關(guān)模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)，其中，圖像分析方法包括：獲取圖像序列、光流數(shù)據(jù)和圖像序列中各個(gè)圖像的參考數(shù)據(jù)；其中，各個(gè)圖像包括具有共視關(guān)系的第一圖像和第二圖像，光流數(shù)據(jù)包括第一圖像與第二圖像之間的靜態(tài)光流和整體光流，靜態(tài)光流由攝像器件運(yùn)動(dòng)引起，整體光流由攝像器件運(yùn)動(dòng)和拍攝對(duì)象運(yùn)動(dòng)共同引起，且參考數(shù)據(jù)包括位姿和深度；基于圖像序列和光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果；其中，分析結(jié)果包括靜態(tài)光流的光流校準(zhǔn)數(shù)據(jù)；基于靜態(tài)光流和光流校準(zhǔn)數(shù)據(jù)，對(duì)位姿和深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度。上述方案，能夠在動(dòng)態(tài)場(chǎng)景下，提升位姿和深度的精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，特別是涉及一種圖像分析方法及相關(guān)模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

同時(shí)定位和建圖(Simultaneous Localization and Mapping，SLAM)是計(jì)算機(jī)視覺(jué)和機(jī)器人領(lǐng)域中最基本的任務(wù)之一，其應(yīng)用范圍包括但不限于：AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))、VR(Virtual Reality，虛擬現(xiàn)實(shí))、自動(dòng)駕駛等。

在此其中，單目稠密SLAM由于單目視頻采集的簡(jiǎn)單性而備受關(guān)注，但與RGB-D稠密SLAM相比，則是一項(xiàng)困難的任務(wù)。經(jīng)研究發(fā)現(xiàn)，構(gòu)建穩(wěn)健、可靠的SLAM系統(tǒng)仍然具有挑戰(zhàn)性，尤其是在動(dòng)態(tài)場(chǎng)景中，目前SLAM系統(tǒng)仍然存在較大問(wèn)題，而無(wú)法獲取到精確的位姿和深度。有鑒于此，如何提升位姿和深度的精度成為亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N圖像分析方法及相關(guān)模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)。

本申請(qǐng)第一方面提供了一種圖像分析方法，包括：獲取圖像序列、光流數(shù)據(jù)和圖像序列中各個(gè)圖像的參考數(shù)據(jù)；其中，各個(gè)圖像包括具有共視關(guān)系的第一圖像和第二圖像，光流數(shù)據(jù)包括第一圖像與第二圖像之間的靜態(tài)光流和整體光流，靜態(tài)光流由攝像器件運(yùn)動(dòng)引起，整體光流由攝像器件運(yùn)動(dòng)和拍攝對(duì)象運(yùn)動(dòng)共同引起，且參考數(shù)據(jù)包括位姿和深度；基于圖像序列和光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果；其中，分析結(jié)果包括靜態(tài)光流的光流校準(zhǔn)數(shù)據(jù)；基于靜態(tài)光流和光流校準(zhǔn)數(shù)據(jù)，對(duì)位姿和深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度。

因此，獲取圖像序列、光流數(shù)據(jù)和圖像序列中各個(gè)圖像的參考數(shù)據(jù)，且各個(gè)圖像包括具有共視關(guān)系的第一圖像和第二圖像，光流數(shù)據(jù)包括第一圖像與第二圖像之間的靜態(tài)光流和整體光流，靜態(tài)光流由攝像器件運(yùn)動(dòng)引起，整體光流由攝像器件運(yùn)動(dòng)和拍攝對(duì)象運(yùn)動(dòng)共同引起，參考數(shù)據(jù)包括位姿和深度，在此基礎(chǔ)上，再基于圖像序列和光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果，且分析結(jié)果包括靜態(tài)光流的光流校準(zhǔn)數(shù)據(jù)，并基于靜態(tài)光流和光流校準(zhǔn)數(shù)據(jù)，對(duì)位姿和深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度。故通過(guò)模仿人類感知現(xiàn)實(shí)世界的方式，將整體光流視為由攝像器件運(yùn)動(dòng)和拍攝對(duì)象運(yùn)動(dòng)共同引起，并在圖像分析過(guò)程中，參考整體光流和由攝像器件運(yùn)動(dòng)引起的靜態(tài)光流，預(yù)測(cè)出靜態(tài)光流的光流校準(zhǔn)數(shù)據(jù)，從而能夠在后續(xù)位姿和深度優(yōu)化過(guò)程中，結(jié)合靜態(tài)光流及其光流校準(zhǔn)數(shù)據(jù)盡可能地降低拍攝對(duì)象運(yùn)動(dòng)所導(dǎo)致的影響，進(jìn)而能夠提升位姿和深度的精度。

其中，基于圖像序列和光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果，包括：基于第一圖像和第二圖像的圖像特征，得到第一圖像與第二圖像之間的特征相關(guān)數(shù)據(jù)，并基于靜態(tài)光流將第一圖像中像素點(diǎn)進(jìn)行投影，得到第一圖像中像素點(diǎn)在第二圖像中的第一投影位置；基于第一投影位置在特征相關(guān)數(shù)據(jù)中搜索，得到目標(biāo)相關(guān)數(shù)據(jù)；基于目標(biāo)相關(guān)數(shù)據(jù)、靜態(tài)光流和整體光流，得到分析結(jié)果。

因此，基于第一圖像和第二圖像的圖像特征，得到第一圖像與第二圖像之間的特征相關(guān)數(shù)據(jù)，并基于靜態(tài)光流將第一圖像中像素點(diǎn)進(jìn)行投影，得到第一圖像中像素點(diǎn)在第二圖像中的第一投影位置，在此基礎(chǔ)上，基于第一投影位置在特征相關(guān)數(shù)據(jù)中搜索，得到目標(biāo)相關(guān)數(shù)據(jù)，從而基于目標(biāo)相關(guān)數(shù)據(jù)、靜態(tài)光流和整體光流，得到分析結(jié)果，即在第一圖像和第二圖像兩者的特征相關(guān)數(shù)據(jù)中搜索目標(biāo)相關(guān)數(shù)據(jù)的過(guò)程中，參考由攝像器件運(yùn)動(dòng)而引起的靜態(tài)光流，能夠進(jìn)一步降低拍攝對(duì)象運(yùn)動(dòng)所產(chǎn)生的影響，進(jìn)而能夠提升后續(xù)優(yōu)化位姿和深度的精度。