[發(fā)明專利]基于Soft-NMS的多尺度人體跟蹤方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011127837.4
• 申請(qǐng)日: 2020-10-19
• 公開(kāi)（公告）號(hào): CN112288773A
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 江雪雙;劉楊鴻
• 申請(qǐng)（專利權(quán)）人: 慧視江山科技(北京)有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京市中聞律師事務(wù)所 11388
• 代理人: 馮夢(mèng)洪

1.基于Soft-NMS的多尺度人體跟蹤方法，其特征在于：其包括以下步驟：

(1)通過(guò)Yolov3網(wǎng)絡(luò)提取人體目標(biāo)，然后基于目標(biāo)框的DIoU進(jìn)行非極大值抑制，再通過(guò)一個(gè)基于常量速度和線性觀測(cè)模型的標(biāo)準(zhǔn)卡爾曼濾波器，對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)，利用馬氏距離表示預(yù)測(cè)框與下一幀目標(biāo)框之間的關(guān)聯(lián)度，代表距離特征；

(2)使用Mars數(shù)據(jù)集上離線訓(xùn)練的深度學(xué)習(xí)模型，提取人體外觀特征；

(3)將距離特征與外觀特征進(jìn)行尺度融合，作為下一幀目標(biāo)確定的匹配度量標(biāo)準(zhǔn)，通過(guò)級(jí)聯(lián)匹配的原則進(jìn)行目標(biāo)確認(rèn)，不斷對(duì)輸入的幀進(jìn)行處理更新，最終完成跟蹤任務(wù)。

2.根據(jù)權(quán)利要求1所述的基于Soft-NMS的多尺度人體跟蹤方法，其特征在于：所述步驟(1)的Yolov3提取人體運(yùn)動(dòng)狀態(tài)，其網(wǎng)絡(luò)基于darknet53進(jìn)行構(gòu)建，并在此之上進(jìn)行三次采樣輸出，實(shí)現(xiàn)了多尺度預(yù)測(cè)，其采用多個(gè)logistic分類器代替?zhèn)鹘y(tǒng)的Softmax進(jìn)行多標(biāo)簽分類，分類的損失函數(shù)使用binary Cross-entropy函數(shù)。

3.根據(jù)權(quán)利要求2所述的基于Soft-NMS的多尺度人體跟蹤方法，其特征在于：所述步驟(1)中，使用基于DIoU的Soft-NMS進(jìn)行目標(biāo)框抑制，以增強(qiáng)方法的抗遮擋性，DIoU是指基于距離的IoU，考慮了目標(biāo)框與參考框之間的距離及尺度；根據(jù)公式(6)，其中b和b^gt分別代表了預(yù)測(cè)框和真實(shí)框的中心點(diǎn)，且ρ代表的是計(jì)算兩個(gè)中心點(diǎn)間的歐式距離，c代表的是能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離

公式(7)、(8)分別展示了NMS及Soft-NMS的具體定義，在NMS方法中，如果目標(biāo)框間的重疊區(qū)域大于閾值，則對(duì)應(yīng)目標(biāo)框的置信度會(huì)置為零，當(dāng)圖像中有多個(gè)目標(biāo)時(shí)，這一方法很容易導(dǎo)致目標(biāo)漏檢；

公式(9)為連續(xù)的高斯加權(quán)的Soft-NMS定義方式

4.根據(jù)權(quán)利要求3所述的基于Soft-NMS的多尺度人體跟蹤方法，其特征在于：所述步驟(1)中，

使用當(dāng)前目標(biāo)框和卡爾曼濾波的預(yù)測(cè)框之間的馬氏距離描述運(yùn)動(dòng)信息的關(guān)聯(lián)程度，具體定義參考公式(1)，其中d_j表示第j個(gè)目標(biāo)框的位置，y_i表示第i個(gè)跟蹤器對(duì)目標(biāo)的卡爾曼濾波預(yù)測(cè)位置，S_i代表檢測(cè)位置和平均跟蹤位置之間的協(xié)方差矩陣。另外方法引入了逆χ²分布計(jì)算得來(lái)的置信度對(duì)馬氏距離進(jìn)行了閾值化處理，具體定義參考公式(2)，當(dāng)馬氏距離小于該閾值時(shí)，則認(rèn)為匹配

5.根據(jù)權(quán)利要求4所述的基于Soft-NMS的多尺度人體跟蹤方法，其特征在于：所述步驟(2)包括以下分步驟：

(2.1)進(jìn)行多尺度特征適應(yīng)的ReId網(wǎng)絡(luò)模型，對(duì)每一個(gè)檢測(cè)目標(biāo)進(jìn)行了特征提取并構(gòu)建了Gallery，用來(lái)存儲(chǔ)每一個(gè)目標(biāo)成功關(guān)聯(lián)的最近的100幀特征向量，作為運(yùn)動(dòng)目標(biāo)的外觀特征；

(2.2)針對(duì)運(yùn)動(dòng)目標(biāo)的外觀信息，計(jì)算第i個(gè)跟蹤器最近100個(gè)成功關(guān)聯(lián)的特征集與當(dāng)前幀的第j個(gè)檢測(cè)結(jié)果的特征向量間的最小余弦距離，具體定義參考公式(3)，其中r_i代表檢測(cè)塊d_j的特征向量

(2.3)通過(guò)閾值化進(jìn)行判斷關(guān)聯(lián)是否成功，定義參考公式(4)，當(dāng)小于該閾值時(shí)，代表關(guān)聯(lián)成功