[發(fā)明專利]圖像分析方法及相關(guān)模型的訓(xùn)練方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210307855.3
• 申請(qǐng)日: 2022-03-25
• 公開（公告）號(hào): CN114612545A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 章國(guó)鋒;鮑虎軍;葉偉才;余星源
• 申請(qǐng)（專利權(quán)）人: 浙江商湯科技開發(fā)有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06T7/73;G06T7/269;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種圖像分析方法，其特征在于，包括：

獲取圖像序列、光流數(shù)據(jù)和所述圖像序列中各個(gè)圖像的參考數(shù)據(jù)；其中，所述各個(gè)圖像包括具有共視關(guān)系的第一圖像和第二圖像，所述光流數(shù)據(jù)包括所述第一圖像與所述第二圖像之間的靜態(tài)光流和整體光流，所述靜態(tài)光流由攝像器件運(yùn)動(dòng)引起，所述整體光流由攝像器件運(yùn)動(dòng)和拍攝對(duì)象運(yùn)動(dòng)共同引起，且所述參考數(shù)據(jù)包括位姿和深度；

基于所述圖像序列和所述光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果；其中，所述分析結(jié)果包括所述靜態(tài)光流的光流校準(zhǔn)數(shù)據(jù)；

基于所述靜態(tài)光流和所述光流校準(zhǔn)數(shù)據(jù)，對(duì)所述位姿和所述深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述圖像序列和所述光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果，包括：

基于所述第一圖像和所述第二圖像的圖像特征，得到所述第一圖像與所述第二圖像之間的特征相關(guān)數(shù)據(jù)，并基于所述靜態(tài)光流將所述第一圖像中像素點(diǎn)進(jìn)行投影，得到所述第一圖像中像素點(diǎn)在所述第二圖像中的第一投影位置；

基于所述第一投影位置在所述特征相關(guān)數(shù)據(jù)中搜索，得到目標(biāo)相關(guān)數(shù)據(jù)；

基于所述目標(biāo)相關(guān)數(shù)據(jù)、所述靜態(tài)光流和所述整體光流，得到所述分析結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述目標(biāo)相關(guān)數(shù)據(jù)、所述靜態(tài)光流和所述整體光流，得到所述分析結(jié)果，包括：

基于所述目標(biāo)相關(guān)數(shù)據(jù)進(jìn)行編碼，得到第一編碼特征，并基于所述靜態(tài)光流和所述整體光流進(jìn)行編碼，得到第二編碼特征；

基于所述第一編碼特征和所述第二編碼特征，預(yù)測(cè)得到所述分析結(jié)果。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述參考數(shù)據(jù)還包括動(dòng)態(tài)掩膜，所述動(dòng)態(tài)掩膜用于指示所述圖像中的運(yùn)動(dòng)對(duì)象，所述分析結(jié)果還包括置信度圖和所述動(dòng)態(tài)掩膜的掩膜校準(zhǔn)數(shù)據(jù)，所述置信度圖包括所述圖像中各像素點(diǎn)的置信度；所述基于所述靜態(tài)光流和所述光流校準(zhǔn)數(shù)據(jù)，對(duì)所述位姿和所述深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度，包括：

基于所述動(dòng)態(tài)掩膜、所述掩膜校準(zhǔn)數(shù)據(jù)和所述置信度圖進(jìn)行融合，得到重要度圖，并基于所述光流校準(zhǔn)數(shù)據(jù)對(duì)第一投影位置進(jìn)行校準(zhǔn)，得到校準(zhǔn)位置；其中，所述重要度圖包括所述圖像中各像素點(diǎn)的重要度，所述第一投影位置為所述第一圖像中像素點(diǎn)基于所述靜態(tài)光流投影在所述第二圖像的像素位置；

基于所述校準(zhǔn)位置和所述重要度圖，優(yōu)化得到所述更新的位姿和所述更新的深度。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述光流校準(zhǔn)數(shù)據(jù)包括所述第一圖像中像素點(diǎn)的校準(zhǔn)光流，所述基于所述光流校準(zhǔn)數(shù)據(jù)對(duì)第一投影位置進(jìn)行校準(zhǔn)，得到校準(zhǔn)位置，包括：

將所述第一圖像中像素點(diǎn)的校準(zhǔn)光流加上所述像素點(diǎn)在所述第二圖像中的第一投影位置，得到所述像素點(diǎn)的校準(zhǔn)位置。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述動(dòng)態(tài)掩膜、所述掩膜校準(zhǔn)數(shù)據(jù)和所述置信度圖進(jìn)行融合，得到重要度圖，包括：

基于所述掩膜校準(zhǔn)數(shù)據(jù)對(duì)所述動(dòng)態(tài)掩膜進(jìn)行校準(zhǔn)，得到校準(zhǔn)掩膜；其中，所述校準(zhǔn)掩膜包括所述圖像中像素點(diǎn)與運(yùn)動(dòng)對(duì)象的相關(guān)度，且所述相關(guān)度與所述圖像中像素點(diǎn)屬于運(yùn)動(dòng)對(duì)象的可能性正相關(guān)；

基于所述置信度圖和所述校準(zhǔn)掩膜進(jìn)行融合，得到所述重要度圖。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述分析結(jié)果還包括動(dòng)態(tài)光流，所述動(dòng)態(tài)光流由拍攝對(duì)象運(yùn)動(dòng)引起；在所述基于所述靜態(tài)光流和所述光流校準(zhǔn)數(shù)據(jù)，對(duì)所述位姿和所述深度進(jìn)行優(yōu)化，得到更新的位姿和更新的深度之后，所述方法還包括：

基于所述更新的位姿和所述更新的深度，獲取更新的靜態(tài)光流，并基于所述動(dòng)態(tài)光流和所述更新的靜態(tài)光流，得到更新的整體光流；

基于所述更新的靜態(tài)光流和所述更新的整體光流，得到更新的光流數(shù)據(jù)，并基于所述更新的位姿和更新的深度，得到更新的參考數(shù)據(jù)；

重新執(zhí)行所述基于所述圖像序列和所述光流數(shù)據(jù)，預(yù)測(cè)得到分析結(jié)果的步驟以及后續(xù)步驟。