[發(fā)明專利]基于多目標(biāo)跟蹤的行為識(shí)別輕量化方法、系統(tǒng)、設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110447553.1
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113158909B
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 張兆翔;宋純鋒;吳晗
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/82;G06V20/40;G06N3/0464;G06N3/084
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

1.一種基于多目標(biāo)跟蹤的行為識(shí)別輕量化方法，其特征在于，該方法包括：

S10，獲取輸入視頻中t時(shí)刻的圖像幀，作為輸入圖像；

S20，通過(guò)目標(biāo)檢測(cè)算法對(duì)所述輸入圖像中進(jìn)行目標(biāo)檢測(cè)，獲取多個(gè)檢測(cè)目標(biāo)分別對(duì)應(yīng)的檢測(cè)框作為目標(biāo)檢測(cè)框；并提取各目標(biāo)檢測(cè)框的特征，作為第一特征；

S30，利用卡爾曼濾波算法預(yù)測(cè)t-1時(shí)刻各追蹤到的目標(biāo)在t時(shí)刻圖像幀中對(duì)應(yīng)的檢測(cè)框，并提取各檢測(cè)框的特征，作為第二特征；通過(guò)特征匹配算法對(duì)各第一特征、第二特征進(jìn)行匹配，獲取視頻中每個(gè)目標(biāo)的跟蹤序列；

S40，對(duì)各目標(biāo)的跟蹤序列，通過(guò)預(yù)構(gòu)建的行為分類模型獲取其對(duì)應(yīng)的行為分類結(jié)果；

其中，所述行為分類模型基于2D卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，包括三個(gè)卷積池化層和兩個(gè)全連接層；

所述行為分類模型，其損失函數(shù)L_Softmax為：

其中，y表示當(dāng)前樣本的行為分類真值標(biāo)簽，Z_i表示行為分類模型提取到的屬于第i類的特征值，C表示分類的類別個(gè)數(shù)；

所述行為分類模型，其訓(xùn)練方法為：

A10，按時(shí)序信息獲取視頻數(shù)據(jù)集中視頻數(shù)據(jù)的各幀圖像，構(gòu)建幀圖像序列；

A20，通過(guò)目標(biāo)檢測(cè)算法獲取所述幀圖像序列各幀圖像中每個(gè)目標(biāo)的檢測(cè)框作為目標(biāo)檢測(cè)框；并提取各目標(biāo)檢測(cè)框的特征，作為第一特征；

A30，利用卡爾曼濾波算法預(yù)測(cè)上一幀中各追蹤到的目標(biāo)在當(dāng)前幀中的檢測(cè)框，并提取各檢測(cè)框的特征，作為第二特征；通過(guò)特征匹配算法各第一特征、第二特征進(jìn)行匹配，得到視頻中每個(gè)目標(biāo)的跟蹤序列；

A40，對(duì)所述跟蹤序列進(jìn)行剪裁得到以各目標(biāo)為中心的連續(xù)幀；

A50，對(duì)每個(gè)目標(biāo)跟蹤序列進(jìn)行行為連續(xù)幀的挑選，按照行為類型對(duì)其進(jìn)行分類，進(jìn)而得到行為真值標(biāo)簽下不同目標(biāo)的連續(xù)幀序列；

A60，對(duì)所述連續(xù)幀序列，隨機(jī)獲取連續(xù)N幀，并進(jìn)行預(yù)處理，將預(yù)處理后的幀圖像進(jìn)行圖像時(shí)序拼接操作；

A70，將拼接后的幀圖像輸入預(yù)構(gòu)建的行為分類模型，獲取行為分類結(jié)果；

A80，基于行為分類預(yù)測(cè)結(jié)果、行為分類真值標(biāo)簽，計(jì)算損失值，并更新行為分類模型的模型參數(shù)；

A90，循環(huán)執(zhí)行步驟A10-A80，直至得到訓(xùn)練好的行為分類模型。

2.根據(jù)權(quán)利要求1所述的基于多目標(biāo)跟蹤的行為識(shí)別輕量化方法，其特征在于，所述預(yù)處理，其方法為：對(duì)各幀圖像進(jìn)行像素調(diào)整、歸一化以及中心剪裁處理。

3.根據(jù)權(quán)利要求1所述的基于多目標(biāo)跟蹤的行為識(shí)別輕量化方法，其特征在于，“通過(guò)特征匹配算法對(duì)各第一特征、第二特征進(jìn)行匹配，獲得視頻中每個(gè)目標(biāo)的跟蹤序列”，其方法為：

通過(guò)特征匹配算法將各第一特征、第二特征進(jìn)行匹配，匹配后，將匹配相似度最大的預(yù)測(cè)檢測(cè)框作為目標(biāo)在當(dāng)前幀中的追蹤位置，進(jìn)而獲得視頻中每個(gè)目標(biāo)的跟蹤序列。

4.根據(jù)權(quán)利要求2所述的基于多目標(biāo)跟蹤的行為識(shí)別輕量化方法，其特征在于，所述行為分類模型在訓(xùn)練過(guò)程中，采用反向傳播算法和隨機(jī)梯度下降法進(jìn)行梯度優(yōu)化。