[發(fā)明專利]目標(biāo)重識(shí)別模型的訓(xùn)練方法、目標(biāo)重識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110763047.3
• 申請(qǐng)日: 2021-07-06
• 公開（公告）號(hào): CN113408472B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 劉武;梅濤
• 申請(qǐng)（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號(hào): G06V20/52
• 分類號(hào): G06V20/52;G06V10/44;G06V10/75;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張夢(mèng)瑤

本公開提出一種目標(biāo)重識(shí)別模型的訓(xùn)練方法、目標(biāo)重識(shí)別方法及裝置，該方法包括：獲取多個(gè)圖像，多個(gè)圖像分別具有對(duì)應(yīng)的多種模態(tài)和對(duì)應(yīng)的多個(gè)標(biāo)注目標(biāo)類別，并獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)卷積特征圖，并獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)邊緣特征圖，并獲取與多種模態(tài)分別對(duì)應(yīng)的多種特征距離信息，以及根據(jù)多個(gè)圖像、多個(gè)卷積特征圖、多個(gè)邊緣特征圖、多種特征距離信息，以及多個(gè)標(biāo)注目標(biāo)類別訓(xùn)練初始的重識(shí)別模型，以得到目標(biāo)重識(shí)別模型，因此訓(xùn)練的重識(shí)別模型能夠充分挖掘多種模態(tài)圖像中的特征，能夠增強(qiáng)不同模態(tài)下圖像匹配的準(zhǔn)確度，從而提升跨模態(tài)的目標(biāo)重識(shí)別的效果。

技術(shù)領(lǐng)域

本公開涉及圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及一種目標(biāo)重識(shí)別模型的訓(xùn)練方法、目標(biāo)重識(shí)別方法及裝置。

背景技術(shù)

隨著人們對(duì)安全的重視，視頻監(jiān)控?cái)z像頭被安置于生活工作的多種環(huán)境場(chǎng)景中。常見的攝像頭采用白天拍攝彩色視頻、晚上拍攝紅外視頻的方式，進(jìn)行全天候的信息錄制工作。

而跨模態(tài)的目標(biāo)重識(shí)別旨在將可見光攝像頭采集的三原色圖像(Red?GreenBlue，RGB)和紅外攝像頭采集的紅外線圖像(Infrared?Radiation，IR)中的目標(biāo)進(jìn)行匹配。由于不同模態(tài)(RGB和IR)的圖像是異質(zhì)的，因此模態(tài)差異會(huì)降低匹配的性能。

相關(guān)技術(shù)中的網(wǎng)絡(luò)模型在進(jìn)行跨模態(tài)的目標(biāo)重識(shí)別時(shí)，對(duì)RGB圖像和IR圖像中的特征挖掘不夠充分，且模型訓(xùn)練過(guò)程中穩(wěn)定性不強(qiáng)，因此影響跨模態(tài)的目標(biāo)重識(shí)別的效果。

發(fā)明內(nèi)容

本公開提出了一種目標(biāo)重識(shí)別模型的訓(xùn)練方法、目標(biāo)重識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

本公開第一方面實(shí)施例提出了一種目標(biāo)重識(shí)別模型的訓(xùn)練方法，包括：獲取多個(gè)圖像，多個(gè)圖像分別具有對(duì)應(yīng)的多種模態(tài)和對(duì)應(yīng)的多個(gè)標(biāo)注目標(biāo)類別；獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)卷積特征圖，并獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)邊緣特征圖；獲取與多種模態(tài)分別對(duì)應(yīng)的多種特征距離信息；以及根據(jù)多個(gè)圖像、多個(gè)卷積特征圖、多個(gè)邊緣特征圖、多種特征距離信息，以及多個(gè)標(biāo)注目標(biāo)類別訓(xùn)練初始的重識(shí)別模型，以得到目標(biāo)重識(shí)別模型。

本公開第二方面實(shí)施例提出了一種目標(biāo)重識(shí)別方法，包括：獲取參考圖像和待識(shí)別圖像，參考圖像和待識(shí)別圖像的模態(tài)不相同，參考圖像包括：參考類別；將參考圖像和待識(shí)別圖像分別輸入至上述的目標(biāo)重識(shí)別模型的訓(xùn)練方法訓(xùn)練得到的目標(biāo)重識(shí)別模型之中，以得到目標(biāo)重識(shí)別模型輸出的與待識(shí)別圖像對(duì)應(yīng)的目標(biāo)，目標(biāo)具有對(duì)應(yīng)的目標(biāo)類別，目標(biāo)類別與參考類別相匹配。

本公開第三方面實(shí)施例提出了一種目標(biāo)重識(shí)別模型的訓(xùn)練裝置，包括：第一獲取模塊，用于獲取多個(gè)圖像，多個(gè)圖像分別具有對(duì)應(yīng)的多種模態(tài)和對(duì)應(yīng)的多個(gè)標(biāo)注目標(biāo)類別；第二獲取模塊，用于獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)卷積特征圖，并獲取與多種模態(tài)分別對(duì)應(yīng)的多個(gè)邊緣特征圖；第三獲取模塊，用于獲取與多種模態(tài)分別對(duì)應(yīng)的多種特征距離信息；以及訓(xùn)練模塊，用于根據(jù)多個(gè)圖像、多個(gè)卷積特征圖、多個(gè)邊緣特征圖、多種特征距離信息，以及多個(gè)標(biāo)注目標(biāo)類別訓(xùn)練初始的重識(shí)別模型，以得到目標(biāo)重識(shí)別模型。

本公開第四方面實(shí)施例提出了一種目標(biāo)重識(shí)別裝置，包括：第四獲取模塊，用于獲取參考圖像和待識(shí)別圖像，參考圖像和待識(shí)別圖像的模態(tài)不相同，參考圖像包括：參考類別；識(shí)別模塊，用于將參考圖像和待識(shí)別圖像分別輸入至上述的目標(biāo)重識(shí)別模型的訓(xùn)練方法訓(xùn)練得到的目標(biāo)重識(shí)別模型之中，以得到目標(biāo)重識(shí)別模型輸出的與待識(shí)別圖像對(duì)應(yīng)的目標(biāo)，目標(biāo)具有對(duì)應(yīng)的目標(biāo)類別，目標(biāo)類別與參考類別相匹配。

本公開第五方面實(shí)施例提出了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本公開實(shí)施例的目標(biāo)重識(shí)別模型的訓(xùn)練方法，或者執(zhí)行目標(biāo)重識(shí)別方法。