[發(fā)明專利]視頻目標(biāo)行為識別方法及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010043763.X
• 申請日: 2020-01-15
• 公開（公告）號: CN111222487B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 程戰(zhàn)戰(zhàn);盧晶;吳飛;浦世亮;鈕毅
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

本發(fā)明公開了一種視頻目標(biāo)行為識別方法及電子設(shè)備，該方法包括：獲取待識別視頻，其中，所述視頻包含待識別視頻的圖像幀；通過目標(biāo)檢測模型獲取一個或多個局部目標(biāo)圖像；通過目標(biāo)追蹤模型，對獲取的局部目標(biāo)圖像進行匹配，獲取一個或多個目標(biāo)圖像序列；通過目標(biāo)行為質(zhì)量評分模型，對每個目標(biāo)圖像序列中的目標(biāo)圖像行為進行質(zhì)量評分，獲取高質(zhì)量的目標(biāo)圖像子序列；通過行為識別模型，對獲取的高質(zhì)量目標(biāo)圖像子序列進行行為識別，得到行為識別結(jié)果。該方法僅對視頻目標(biāo)圖像序列中的高質(zhì)量目標(biāo)圖像子序列進行行為識別，一方面消除了低質(zhì)量目標(biāo)行為識別結(jié)果對整體視頻目標(biāo)行為識別結(jié)果的影響；另一方面，由于僅識別高質(zhì)量目標(biāo)行為，可提升了視頻目標(biāo)行為識別效率；該方法能夠滿足用戶的實際應(yīng)用需要，適用性強。

技術(shù)領(lǐng)域

本申請涉及視頻圖像處理技術(shù)領(lǐng)域，特別是涉及視頻目標(biāo)行為識別方法及電子設(shè)備。

背景技術(shù)

隨著視頻圖像技術(shù)的發(fā)展，大量基于視頻的媒體信息不斷出現(xiàn)，這使得基于視頻內(nèi)容的行為識別與分析愈發(fā)迫切。視頻中的目標(biāo)行為是一種具體的場景特征，可以用于視頻分析、場景理解及檢索，如果要利用視頻中的目標(biāo)行為信息，一種高效快速的視頻目標(biāo)行為識別技術(shù)尤為關(guān)鍵。傳統(tǒng)的技術(shù)方案通常是先獲取每幀視頻圖像幀中的局部目標(biāo)圖像，然后對每張局部目標(biāo)圖像進行追蹤與識別，最后后處理輸出最終視頻目標(biāo)行為識別結(jié)果；然而，該方案需要逐幀對局部目標(biāo)行為進行識別而耗時增加，直接造成系統(tǒng)的低效率，在實際應(yīng)用中往往不可取。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種視頻目標(biāo)行為識別方法及電子設(shè)備，以實現(xiàn)視頻目標(biāo)信息的提取與分析。具體技術(shù)方案如下：

第一方面，本申請?zhí)峁┝艘环N視頻目標(biāo)行為識別方法，所述方法包括：

獲取待識別的視頻圖像幀序列；

通過預(yù)先準(zhǔn)備的目標(biāo)檢測模型，對獲取的視頻圖像幀執(zhí)行目標(biāo)檢測，得到每張視頻圖像幀中的一個或多個局部目標(biāo)圖像；所述是指期望獲取的目標(biāo)圖像是視頻圖像幀的局部子圖；

通過預(yù)先準(zhǔn)備的目標(biāo)追蹤模型，對獲取的局部目標(biāo)圖像進行匹配，得到一個或多個目標(biāo)圖像序列；

通過預(yù)先準(zhǔn)備的目標(biāo)行為質(zhì)量評分模型，對每個目標(biāo)圖像序列中的目標(biāo)圖像行為進行質(zhì)量評分，選出質(zhì)量評分滿足預(yù)設(shè)要求的高質(zhì)量目標(biāo)圖像子序列；

通過預(yù)先準(zhǔn)備的行為識別模型，對獲取的高質(zhì)量目標(biāo)圖像子序列進行目標(biāo)行為識別，得到行為識別結(jié)果。

可選的，確定所述預(yù)先準(zhǔn)備的目標(biāo)檢測模型的步驟包括：

獲取多個待訓(xùn)練的視頻圖像幀樣本，稱為第一圖像，并獲取上述第一圖像對應(yīng)的目標(biāo)區(qū)域的位置標(biāo)簽；

將所述第一圖像樣本及對應(yīng)位置標(biāo)簽輸入到預(yù)設(shè)第一神經(jīng)網(wǎng)絡(luò)模型中進行訓(xùn)練，得到預(yù)設(shè)的第一模型；其中，所述預(yù)設(shè)第一神經(jīng)網(wǎng)絡(luò)模型包括特征提取部分和局部目標(biāo)圖像輸出部分；所述特征提取部分用于獲取圖像的深度特征，得到基礎(chǔ)特征圖，所述目標(biāo)圖像輸出部分用于從基礎(chǔ)特征圖解碼出目標(biāo)區(qū)域在原圖中的坐標(biāo)位置，得到局部目標(biāo)圖像，稱為第二圖像。

進一步的，所述通過預(yù)先準(zhǔn)備的目標(biāo)檢測模型，對獲取的視頻圖像幀執(zhí)行目標(biāo)檢測，得到每張視頻圖像幀中的一個或多個局部目標(biāo)圖像，具體包括：

在獲取待檢測的第一圖像時，將所述視頻圖像幀進行特征編碼，得到第一圖像特征圖；

對獲取的第一圖像特征圖進行解碼，得到對應(yīng)的多個局部目標(biāo)圖像，稱為第二圖像。

進一步的，確定所述預(yù)先準(zhǔn)備的目標(biāo)追蹤模型的步驟包括：

獲取多個所述第二圖像樣本及其對應(yīng)的目標(biāo)圖像序列標(biāo)簽，其中，所述目標(biāo)圖像序列標(biāo)簽用于指示第一圖像視頻流中同一局部目標(biāo)形成的局部目標(biāo)圖像序列，也即屬于同一局部目標(biāo)圖像序列的目標(biāo)圖像被分配一個相同ID；