[發(fā)明專(zhuān)利]基于跨相機(jī)的多目標(biāo)跟蹤模型的訓(xùn)練方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211116422.6
• 申請(qǐng)日: 2022-09-14
• 公開(kāi)（公告）號(hào): CN115393384A
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 張新鈺;李駿;高鑫;劉宏堃;李志偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06T7/20
• 分類(lèi)號(hào): G06T7/20
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 張建綱

本申請(qǐng)?zhí)峁┝嘶诳缦鄼C(jī)的多目標(biāo)跟蹤模型的訓(xùn)練方法及裝置，包括：獲取多個(gè)訓(xùn)練樣本組合，所述訓(xùn)練樣本組合包括一個(gè)場(chǎng)景的多個(gè)相機(jī)圖像樣本，所述相機(jī)圖像樣本上標(biāo)注多個(gè)目標(biāo)的真實(shí)框；利用多目標(biāo)跟蹤模型對(duì)每個(gè)訓(xùn)練樣本組合進(jìn)行處理，得到多個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果，每個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果包括多個(gè)目標(biāo)的預(yù)測(cè)框；基于多個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果和多個(gè)相機(jī)圖像樣本，分別計(jì)算吸引項(xiàng)損失函數(shù)值、第一排斥項(xiàng)損失函數(shù)值以及第二排斥項(xiàng)損失函數(shù)值；將三者的加權(quán)和作為總損失函數(shù)值；基于總損失函數(shù)值，更新多目標(biāo)跟蹤模型的模型參數(shù)。本申請(qǐng)可以有效解決目標(biāo)遮擋情況下的無(wú)法實(shí)現(xiàn)多目標(biāo)跟蹤的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及智能駕駛技術(shù)領(lǐng)域，尤其是涉及基于跨相機(jī)的多目標(biāo)跟蹤模型的訓(xùn)練方法及裝置。

背景技術(shù)

遮擋仍然是目標(biāo)檢測(cè)中最重要的挑戰(zhàn)之一，盡管近年來(lái)取得了很大進(jìn)展。一般來(lái)說(shuō)，遮擋可分為兩組：類(lèi)間遮擋和類(lèi)內(nèi)遮擋。前者發(fā)生在對(duì)象被其他類(lèi)別的東西或?qū)ο笳趽鯐r(shí)，后者也被稱(chēng)為群組遮擋，發(fā)生在對(duì)象被相同類(lèi)別的對(duì)象遮擋時(shí)。在目標(biāo)檢測(cè)中，人群遮擋構(gòu)成了大多數(shù)遮擋情況。原因是在目標(biāo)檢測(cè)的應(yīng)用場(chǎng)景中，例如視頻監(jiān)控和自動(dòng)駕駛，行人經(jīng)常聚集在一起并相互遮擋。

人群遮擋的主要影響是它顯著增加了行人定位的難度。例如，當(dāng)目標(biāo)行人T與另一行人B重疊時(shí)，檢測(cè)器容易混淆，因?yàn)檫@兩個(gè)行人具有相似的外觀(guān)特征。因此，應(yīng)該有界T的預(yù)測(cè)框可能會(huì)轉(zhuǎn)移到B，導(dǎo)致定位不準(zhǔn)確。更糟糕的是，由于主要檢測(cè)結(jié)果需要通過(guò)非最大抑制進(jìn)行進(jìn)一步處理，最初來(lái)自T的移位邊界框可能會(huì)被B的預(yù)測(cè)框抑制，其中T變成漏檢。也就是說(shuō)，人群遮擋使檢測(cè)器對(duì)NMS閾值敏感：閾值越高，誤報(bào)率越高，而閾值越低，漏檢率越高。這種不良行為可能會(huì)損害大多數(shù)實(shí)例分割框架，因?yàn)樗鼈冞€需要準(zhǔn)確的檢測(cè)結(jié)果。因此，如何在人群場(chǎng)景中對(duì)每個(gè)人進(jìn)行魯棒定位是行人目標(biāo)檢測(cè)最關(guān)鍵的問(wèn)題之一，目前未有相應(yīng)的解決方案。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝嘶诳缦鄼C(jī)的多目標(biāo)跟蹤模型的訓(xùn)練方法及裝置，以解決上述技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于跨相機(jī)的多目標(biāo)跟蹤模型的訓(xùn)練方法，包括：

獲取多個(gè)訓(xùn)練樣本組合，所述訓(xùn)練樣本組合包括一個(gè)場(chǎng)景的多個(gè)相機(jī)圖像樣本，所述相機(jī)圖像樣本上標(biāo)注多個(gè)目標(biāo)的真實(shí)框；

利用多目標(biāo)跟蹤模型對(duì)每個(gè)訓(xùn)練樣本組合進(jìn)行處理，得到多個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果，每個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果包括多個(gè)目標(biāo)的預(yù)測(cè)框；

基于多個(gè)相機(jī)圖像的預(yù)測(cè)結(jié)果和多個(gè)相機(jī)圖像樣本，分別計(jì)算吸引項(xiàng)損失函數(shù)值、第一排斥項(xiàng)損失函數(shù)值以及第二排斥項(xiàng)損失函數(shù)值；

計(jì)算吸引項(xiàng)損失函數(shù)值、第一排斥項(xiàng)損失函數(shù)值以及第二排斥項(xiàng)損失函數(shù)值的加權(quán)和，作為總損失函數(shù)值；

基于總損失函數(shù)值，更新多目標(biāo)跟蹤模型的模型參數(shù)。

在一種可能的實(shí)施中，所述方法還包括：

對(duì)于每個(gè)跟蹤目標(biāo)，獲取包含所述跟蹤目標(biāo)的若干個(gè)相機(jī)圖像樣本中的真實(shí)框，將真實(shí)框記為1≤n≤N，1≤m≤M_n；N為跟蹤目標(biāo)的數(shù)量，m為真實(shí)框的序號(hào)，M_n為真實(shí)框的數(shù)量；

對(duì)于每個(gè)跟蹤目標(biāo)，獲取包含所述跟蹤目標(biāo)的若干個(gè)相機(jī)圖像中的預(yù)測(cè)框；將預(yù)測(cè)框記為

計(jì)算和的交并比IoU值，若IoU值不小于0.5，則將劃分到集合否則，將劃分到集合

在一種可能的實(shí)施中，計(jì)算吸引項(xiàng)損失函數(shù)值，包括：

吸引項(xiàng)損失函數(shù)值為：

其中，表示集合的元素的數(shù)量；為和的交并比IoU值；SMoothL1(·)為度量函數(shù)：

其中，σ為平滑參數(shù)。