[發(fā)明專利]一種基于深度學(xué)習(xí)的地面無(wú)人平臺(tái)人員跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110311795.8
• 申請(qǐng)日: 2021-03-24
• 公開（公告）號(hào): CN113012201A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 梁震爍;李寧;趙熙俊;劉雪妍;盧彩霞;余雪瑋
• 申請(qǐng)（專利權(quán)）人: 中國(guó)北方車輛研究所
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 祁恒

1.一種基于深度學(xué)習(xí)的地面無(wú)人平臺(tái)人員跟蹤方法，其特征在于，所述跟蹤方法包括以下步驟：

步驟S1、對(duì)攝像頭采集的圖像進(jìn)行人員目標(biāo)檢測(cè)，輸出圖片內(nèi)各個(gè)人員的像素坐標(biāo)位置；

步驟S2、將圖片內(nèi)每個(gè)識(shí)別出的人員目標(biāo)作為甄別對(duì)象，依次輸入人員識(shí)別網(wǎng)絡(luò)，通過骨干網(wǎng)絡(luò)提取得到特征圖，再針對(duì)確定的人員目標(biāo)種類，對(duì)特征圖進(jìn)行區(qū)域劃分；在將特征圖進(jìn)行全連層輸出前，在特征圖上添加分類分支，利用分類分支給每一部分的表征能力打分，對(duì)分?jǐn)?shù)歸一化后得到分類概率，輸出的分類概率作為注意力權(quán)值與對(duì)應(yīng)特征相乘得到最終具有高區(qū)分度的特征向量；

步驟S3、對(duì)跟蹤方法進(jìn)行初始化，以確認(rèn)待跟蹤的人員目標(biāo)；初始化時(shí)，確保圖像畫面內(nèi)只有待跟蹤目標(biāo)一人，由人員檢測(cè)網(wǎng)絡(luò)檢測(cè)出人員的像素位置，再將由人員識(shí)別網(wǎng)絡(luò)得到的特征向量存為模板向量；

步驟S4、初始化完成后，對(duì)之后視頻的每一幀圖像進(jìn)行人員檢測(cè)和人員識(shí)別，提取出各人員的特征向量，與模板向量進(jìn)行余弦距離計(jì)算，將距離值小于閾值的特征向量作為待跟蹤人員的特征向量，并以如公式2、3所示的更新規(guī)則，更新模板向量：

其中，T_i為第i時(shí)刻的模板向量，F(xiàn)_i為第i時(shí)刻求出的待跟蹤人員的特征向量，β和γ分別為人員像素目標(biāo)框的長(zhǎng)和寬，α和ε為根據(jù)試驗(yàn)設(shè)置的常數(shù)；

步驟S5、根據(jù)待跟蹤人員的特征向量，反推出待跟蹤人員的圖像像素坐標(biāo)，利用聯(lián)合標(biāo)定的激光雷達(dá)與攝像頭的感知系統(tǒng)，將待跟蹤人員的圖像像素坐標(biāo)轉(zhuǎn)換為與激光雷達(dá)的三維相對(duì)位置，經(jīng)過坐標(biāo)轉(zhuǎn)換后最終確定識(shí)別目標(biāo)與地面無(wú)人平臺(tái)的三維相對(duì)位置，從而實(shí)現(xiàn)對(duì)特定人員目標(biāo)的三維位置跟蹤。

2.如權(quán)利要求1所述的跟蹤方法，其特征在于，所述步驟S1中，人員目標(biāo)檢測(cè)網(wǎng)絡(luò)使用通用目標(biāo)檢測(cè)網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò)；以收集標(biāo)注好的人員目標(biāo)圖片作為訓(xùn)練數(shù)據(jù)，對(duì)基準(zhǔn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；在去除基準(zhǔn)網(wǎng)絡(luò)的分類通道后重新訓(xùn)練，根據(jù)標(biāo)注信息與網(wǎng)絡(luò)輸出求取誤差，利用優(yōu)化器更新網(wǎng)絡(luò)各級(jí)權(quán)重，直至網(wǎng)絡(luò)誤差收斂。

3.如權(quán)利要求1所述的跟蹤方法，其特征在于，所述步驟S2中，通過骨干網(wǎng)絡(luò)MobileNetV3提取得到壓縮步長(zhǎng)為32x的特征圖。

4.如權(quán)利要求3所述的跟蹤方法，其特征在于，所述步驟S2中，將特征圖分為6份，并平均池化分為三部分，從上往下的第一部分表征頭部，第二和第三部分表征軀干，剩下部分表征下肢。

5.如權(quán)利要求1所述的跟蹤方法，其特征在于，所述步驟S2中，對(duì)分?jǐn)?shù)使用sigmoid歸一后得到分類概率。

6.如權(quán)利要求1所述的跟蹤方法，其特征在于，所述步驟S2中，在使用識(shí)別網(wǎng)絡(luò)輸出的特征向量前，首先對(duì)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用如公式1所示的類ArcFaceLoss的誤差設(shè)計(jì)求取誤差，將特征向量投射到高維超球面，剔除高維特征向量的模長(zhǎng)影響，不同種的向量差距由余弦距離進(jìn)行表示：

其中，Loss為識(shí)別誤差輸出，n為數(shù)據(jù)庫(kù)中人員個(gè)體的總數(shù)，θ為權(quán)重與輸入之間的夾角，s為用于保持誤差數(shù)值穩(wěn)定的常數(shù)。