[發(fā)明專(zhuān)利]目標(biāo)行為識(shí)別方法、目標(biāo)行為識(shí)別裝置及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210619010.8
• 申請(qǐng)日: 2022-05-30
• 公開(kāi)（公告）號(hào): CN115205728A
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 白云超;魏乃科;潘華東
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V40/20;G06V10/82;G06V10/774;G06N3/04
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

本申請(qǐng)公開(kāi)了一種目標(biāo)行為識(shí)別方法、目標(biāo)行為識(shí)別裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)，該目標(biāo)行為識(shí)別方法包括：獲取目標(biāo)對(duì)象的跟蹤視頻，跟蹤視頻包括包含目標(biāo)對(duì)象的多幀監(jiān)控視頻幀；基于多幀監(jiān)控視頻幀，確定目標(biāo)對(duì)象的關(guān)節(jié)點(diǎn)信息序列，關(guān)節(jié)點(diǎn)信息序列包括多幀監(jiān)控視頻幀中各個(gè)監(jiān)控視頻幀對(duì)應(yīng)的關(guān)節(jié)點(diǎn)信息；以及基于多幀監(jiān)控視頻幀，確定目標(biāo)對(duì)象的參考監(jiān)控視頻幀；利用關(guān)節(jié)點(diǎn)信息序列和參考監(jiān)控視頻幀，確定目標(biāo)對(duì)象是否存在預(yù)設(shè)行為。本申請(qǐng)的目標(biāo)行為識(shí)別方法能夠結(jié)合關(guān)節(jié)點(diǎn)信息序列和參考監(jiān)控視頻幀兩種模態(tài)信息聯(lián)合來(lái)識(shí)別監(jiān)控視頻中目標(biāo)的行為，利用模態(tài)信息聯(lián)合的方式提高目標(biāo)行為識(shí)別方法的識(shí)別精度，以及加快識(shí)別速度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，特別是涉及一種目標(biāo)行為識(shí)別方法、目標(biāo)行為識(shí)別裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

猴車(chē)的正式全稱(chēng)為礦山架空乘人索道，主要用于地下礦山輔助運(yùn)輸工人，目前在大多數(shù)的礦洞中，猴車(chē)設(shè)備都是24小時(shí)不間斷運(yùn)行或者按照固定時(shí)間段運(yùn)行，如果24小時(shí)不間斷運(yùn)行將浪費(fèi)大量的電力，增加運(yùn)行成本；按照固定時(shí)間段運(yùn)行，對(duì)于某些不能及時(shí)坐上猴車(chē)的工人只能步行進(jìn)出。

因此，視頻監(jiān)控系統(tǒng)需要實(shí)時(shí)對(duì)猴車(chē)設(shè)備以及其運(yùn)行場(chǎng)景進(jìn)行監(jiān)控，從而根據(jù)監(jiān)控情況自動(dòng)控制猴車(chē)運(yùn)行。然后，目前視頻監(jiān)控系統(tǒng)僅通過(guò)諸如圖像信息，這些單模態(tài)信息識(shí)別猴車(chē)以及工作人員的行為，容易受到環(huán)境影響，導(dǎo)致識(shí)別準(zhǔn)確性較低。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N目標(biāo)行為識(shí)別方法、目標(biāo)行為識(shí)別裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

本申請(qǐng)采用的一個(gè)技術(shù)方案是提供一種目標(biāo)行為識(shí)別方法，所述目標(biāo)行為識(shí)別方法包括：

獲取目標(biāo)對(duì)象的跟蹤視頻，所述跟蹤視頻包括包含所述目標(biāo)對(duì)象的多幀監(jiān)控視頻幀；

基于所述多幀監(jiān)控視頻幀，確定所述目標(biāo)對(duì)象的關(guān)節(jié)點(diǎn)信息序列，所述關(guān)節(jié)點(diǎn)信息序列包括所述多幀監(jiān)控視頻幀中各個(gè)監(jiān)控視頻幀對(duì)應(yīng)的關(guān)節(jié)點(diǎn)信息；以及

基于所述多幀監(jiān)控視頻幀，確定所述目標(biāo)對(duì)象的參考監(jiān)控視頻幀，所述參考監(jiān)控視頻幀基于所述多幀監(jiān)控視頻幀中的至少一幀監(jiān)控視頻幀獲得；

利用所述關(guān)節(jié)點(diǎn)信息序列和所述參考監(jiān)控視頻幀，確定所述目標(biāo)對(duì)象是否存在預(yù)設(shè)行為。

其中，所述利用所述關(guān)節(jié)點(diǎn)信息序列和所述參考監(jiān)控視頻幀，確定所述目標(biāo)對(duì)象是否存在預(yù)設(shè)行為，包括：

利用所述關(guān)節(jié)點(diǎn)信息序列，確定所述目標(biāo)對(duì)象的序列動(dòng)作信息；并

利用所述參考監(jiān)控視頻幀，確定所述目標(biāo)對(duì)象的行為參考信息；

基于所述序列動(dòng)作信息和所述行為參考信息，確定所述目標(biāo)對(duì)象是否存在所述預(yù)設(shè)行為。

其中，所述利用所述關(guān)節(jié)點(diǎn)信息序列，確定所述目標(biāo)對(duì)象的序列動(dòng)作信息，包括：

將多個(gè)預(yù)設(shè)序列動(dòng)作中與所述關(guān)節(jié)點(diǎn)信息序列匹配的預(yù)設(shè)序列動(dòng)作，確定為所述目標(biāo)對(duì)象的序列動(dòng)作信息。

其中，所述多幀監(jiān)控視頻幀是針對(duì)運(yùn)輸工具采集的；所述序列動(dòng)作信息基于所述目標(biāo)對(duì)象和所述運(yùn)輸工具的位置分布信息，以及所述目標(biāo)對(duì)象的姿態(tài)中的至少一個(gè)信息確定。

其中，所述運(yùn)輸工具包括以鋼索為軌道的工具，所述多幀監(jiān)控視頻幀是針對(duì)所述目標(biāo)對(duì)象進(jìn)入或離開(kāi)所述運(yùn)輸工具的區(qū)域采集的。

其中，所述將多個(gè)預(yù)設(shè)序列動(dòng)作中與所述關(guān)節(jié)點(diǎn)信息序列匹配的預(yù)設(shè)序列動(dòng)作，確定為所述目標(biāo)對(duì)象的序列動(dòng)作信息，包括：

基于所述關(guān)節(jié)點(diǎn)信息序列，獲取所述目標(biāo)對(duì)象的目標(biāo)序列動(dòng)作特征；

利用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)對(duì)所述目標(biāo)序列動(dòng)作特征進(jìn)行更新；