[發(fā)明專利]視頻目標(biāo)行為識(shí)別方法及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010043763.X
• 申請(qǐng)日: 2020-01-15
• 公開(kāi)（公告）號(hào): CN111222487B
• 公開(kāi)（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 程戰(zhàn)戰(zhàn);盧晶;吳飛;浦世亮;鈕毅
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種視頻目標(biāo)行為識(shí)別方法，其特征在于，所述方法包括：

獲取待識(shí)別的視頻圖像幀序列；

通過(guò)預(yù)先準(zhǔn)備的目標(biāo)檢測(cè)模型，對(duì)獲取的視頻圖像幀執(zhí)行目標(biāo)檢測(cè)，得到每張視頻圖像幀中的一個(gè)或多個(gè)局部目標(biāo)圖像；所述局部目標(biāo)圖像是指期望獲取的目標(biāo)圖像是視頻圖像幀的局部子圖；

通過(guò)預(yù)先準(zhǔn)備的目標(biāo)追蹤模型，對(duì)獲取的局部目標(biāo)圖像進(jìn)行匹配，得到一個(gè)或多個(gè)目標(biāo)圖像序列；

通過(guò)預(yù)先準(zhǔn)備的目標(biāo)行為質(zhì)量評(píng)分模型，對(duì)每個(gè)目標(biāo)圖像序列中的目標(biāo)圖像行為進(jìn)行質(zhì)量評(píng)分，選出質(zhì)量評(píng)分滿足預(yù)設(shè)要求的高質(zhì)量目標(biāo)圖像子序列；

通過(guò)預(yù)先準(zhǔn)備的行為識(shí)別模型，對(duì)獲取的高質(zhì)量目標(biāo)圖像子序列進(jìn)行目標(biāo)行為識(shí)別，得到行為識(shí)別結(jié)果；

確定所述預(yù)先準(zhǔn)備的目標(biāo)檢測(cè)模型的步驟包括：

獲取多個(gè)待訓(xùn)練的視頻圖像幀樣本，稱為第一圖像，并獲取上述第一圖像對(duì)應(yīng)的目標(biāo)區(qū)域的位置標(biāo)簽；

將所述第一圖像樣本及對(duì)應(yīng)位置標(biāo)簽輸入到預(yù)設(shè)第一神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到預(yù)設(shè)的第一模型；其中，所述預(yù)設(shè)第一神經(jīng)網(wǎng)絡(luò)模型包括特征提取部分和局部目標(biāo)圖像輸出部分；所述特征提取部分用于獲取圖像的深度特征，得到基礎(chǔ)特征圖，所述目標(biāo)圖像輸出部分用于從基礎(chǔ)特征圖解碼出目標(biāo)區(qū)域在原圖中的坐標(biāo)位置，得到局部目標(biāo)圖像，稱為第二圖像；

所述通過(guò)預(yù)先準(zhǔn)備的目標(biāo)檢測(cè)模型，對(duì)獲取的視頻圖像幀執(zhí)行目標(biāo)檢測(cè)，得到每張視頻圖像幀中的一個(gè)或多個(gè)局部目標(biāo)圖像，具體包括：

在獲取待檢測(cè)的第一圖像時(shí)，將所述視頻圖像幀進(jìn)行特征編碼，得到第一圖像特征圖；

對(duì)獲取的第一圖像特征圖進(jìn)行解碼，得到對(duì)應(yīng)的多個(gè)局部目標(biāo)圖像，稱為第二圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述預(yù)先準(zhǔn)備的目標(biāo)追蹤模型的步驟包括：

獲取多個(gè)所述第二圖像樣本及其對(duì)應(yīng)的目標(biāo)圖像序列標(biāo)簽，其中，所述目標(biāo)圖像序列標(biāo)簽用于指示第一圖像視頻流中同一局部目標(biāo)形成的局部目標(biāo)圖像序列，也即屬于同一局部目標(biāo)圖像序列的目標(biāo)圖像被分配一個(gè)相同ID；

將所述第二圖像樣本及對(duì)應(yīng)的局部目標(biāo)圖像序列ID信息輸入到預(yù)設(shè)第二神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到預(yù)設(shè)第二模型，其中，所述預(yù)設(shè)第二神經(jīng)網(wǎng)絡(luò)模型包括特征提取部分和局部目標(biāo)圖像序列生成部分，所述特征提取部分用于對(duì)每個(gè)局部目標(biāo)圖像進(jìn)行特征提取，所述局部目標(biāo)圖像序列生成部分用于獲取目標(biāo)圖像序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過(guò)預(yù)先準(zhǔn)備的目標(biāo)追蹤模型，對(duì)獲取的局部目標(biāo)圖像進(jìn)行匹配，得到一個(gè)或多個(gè)目標(biāo)圖像序列，具體包括：

在獲取第一幀第一圖像中的第二圖像時(shí)，將所述第二圖像進(jìn)行特征編碼，得到目標(biāo)圖像特征向量，并為每個(gè)特征向量分配一個(gè)ID；

獲取第二幀第一圖像中的第二圖像，將第二幀第一圖像中的第二圖像進(jìn)行特征編碼，得到目標(biāo)圖像特征向量；并計(jì)算第二幀中每個(gè)第二圖像與第一幀中每個(gè)第二圖像之間的特征距離，利用預(yù)設(shè)匹配算法，得到第一幀第一圖像中所有第二圖像與第二幀第一圖像中所有第二圖像的整體最優(yōu)匹配關(guān)系；當(dāng)?shù)诙谝粓D像中某張第二圖像與第一幀第一圖像中某張第二圖像匹配且特征距離小于第一閾值時(shí)，確認(rèn)二者匹配正確，并賦予第二幀第一圖像中該第二圖像與第一幀第一圖像中對(duì)應(yīng)匹配第二圖像相同的ID；

依次類推，迭代計(jì)算當(dāng)前第一圖像幀與上一幀第一圖像幀中的各第二圖像之間彼此距離，完成兩幀圖像之間的第二圖像匹配，得到所述目標(biāo)圖像序列。