[發(fā)明專(zhuān)利]一種時(shí)空行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910153037.0
• 申請(qǐng)日: 2019-02-28
• 公開(kāi)（公告）號(hào): CN109961019B
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 桑農(nóng);張士偉;李致遠(yuǎn);高常鑫;邵遠(yuǎn)杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華中科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 華中科技大學(xué)專(zhuān)利中心 42201
• 代理人: 曹葆青;李智

本發(fā)明公開(kāi)了一種時(shí)空行為檢測(cè)方法，包括對(duì)樣本視頻中所有幀進(jìn)行對(duì)象檢測(cè)，獲取候選對(duì)象集合；計(jì)算樣本視頻中所有幀間光流信息，獲取運(yùn)動(dòng)集合；構(gòu)建附加對(duì)象注意機(jī)制和運(yùn)動(dòng)注意機(jī)制的時(shí)空卷積?反卷積網(wǎng)絡(luò)；對(duì)樣本視頻的各時(shí)間片段進(jìn)行時(shí)空卷積處理后，均添加對(duì)應(yīng)的稀疏變量和稀疏約束得到網(wǎng)絡(luò)結(jié)構(gòu)S；以基于交叉熵的分類(lèi)損失和稀疏約束的損失為目標(biāo)函數(shù)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)S進(jìn)行訓(xùn)練；計(jì)算測(cè)試樣本視頻中各時(shí)間片段對(duì)應(yīng)的行為類(lèi)別與稀疏系數(shù)，獲取對(duì)象行為時(shí)空位置。本發(fā)明通過(guò)對(duì)象檢測(cè)和光流預(yù)測(cè)，不僅減少行為搜索空間，而且時(shí)空行為檢測(cè)具有良好的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，更具體地，涉及一種時(shí)空行為檢測(cè)方法。

背景技術(shù)

行為分析是當(dāng)前計(jì)算機(jī)視覺(jué)中一個(gè)重要而活躍的研究熱點(diǎn)，它不但在社會(huì)安全領(lǐng)域有著廣泛應(yīng)用，比如監(jiān)控環(huán)境下的異常行為檢測(cè)、商場(chǎng)中的偷竊行為檢測(cè)識(shí)別，還在人機(jī)交互中有著不可取代的地位，比如服務(wù)機(jī)器人對(duì)老人的行為進(jìn)行有效的預(yù)測(cè)以防止意外發(fā)生，除此之外，還可用于現(xiàn)有的社交網(wǎng)絡(luò)、直播平臺(tái)等色情、反動(dòng)、暴力等行為的檢測(cè)與識(shí)別。

目前的行為檢測(cè)方法，從需要的監(jiān)督信息上劃分為兩大類(lèi)：一種為基于強(qiáng)監(jiān)督的方法，其監(jiān)督信號(hào)包括檢測(cè)框，行為在時(shí)間上的起始和截至標(biāo)記以及視頻標(biāo)簽；另一種為基于弱有監(jiān)督的方法，其監(jiān)督信號(hào)只有視頻的類(lèi)別標(biāo)記。目前對(duì)第一類(lèi)方法研究較多，并且在公開(kāi)數(shù)據(jù)集上取得了較好的性能，但還仍然不能滿(mǎn)足實(shí)際需求，因?yàn)樵趯?shí)際場(chǎng)景下如果要取得可接受的性能需要大量的樣本標(biāo)記，而且由于行為標(biāo)記的困難和特殊性導(dǎo)致這種需求很難被滿(mǎn)足。第二類(lèi)方法基于弱有監(jiān)督的方法更好的利用現(xiàn)有的僅包含類(lèi)別標(biāo)記的樣本，能夠以自學(xué)習(xí)的方式有效地挖掘行為特征。但是行為必須具備三要素，分別是行為執(zhí)行者、特定運(yùn)動(dòng)信息和時(shí)序性，現(xiàn)有的方法沒(méi)能同時(shí)集中解決這三個(gè)方面。目前的方法主要是利用多實(shí)例學(xué)習(xí)和模型自學(xué)的注意機(jī)制來(lái)定位目標(biāo)行為，使得這類(lèi)方法魯棒性低，在復(fù)雜場(chǎng)合中、以及對(duì)象較多的時(shí)候會(huì)極大地降低該類(lèi)方法的性能。

由此可見(jiàn)，現(xiàn)有時(shí)空行為檢測(cè)方法存在需要大量的人力物力、不實(shí)用、魯棒性較低的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種時(shí)空行為檢測(cè)方法，旨在解決因現(xiàn)有技術(shù)無(wú)法有效結(jié)合執(zhí)行者、特定運(yùn)動(dòng)信息和時(shí)序性識(shí)別行為而導(dǎo)致弱有監(jiān)督時(shí)空行為檢測(cè)方法魯棒性差的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種時(shí)空行為檢測(cè)方法，包括：

(1)對(duì)樣本視頻中所有幀進(jìn)行對(duì)象檢測(cè)，獲取候選對(duì)象集合；

(2)計(jì)算樣本視頻中所有幀間光流信息，獲取運(yùn)動(dòng)集合；

(3)基于候選對(duì)象集合和運(yùn)動(dòng)集合，構(gòu)建附加對(duì)象注意機(jī)制和運(yùn)動(dòng)注意機(jī)制的時(shí)空卷積-反卷積網(wǎng)絡(luò)；

(4)以時(shí)空卷積-反卷積網(wǎng)絡(luò)為輸入，對(duì)樣本視頻的各時(shí)間片段進(jìn)行時(shí)空卷積處理后，均添加對(duì)應(yīng)的稀疏變量和稀疏約束得到網(wǎng)絡(luò)結(jié)構(gòu)S；

(5)以基于交叉熵函數(shù)的分類(lèi)損失和稀疏約束的損失為目標(biāo)函數(shù)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)S進(jìn)行訓(xùn)練；

(6)以網(wǎng)絡(luò)結(jié)構(gòu)S為基礎(chǔ)，計(jì)算測(cè)試樣本視頻中各時(shí)間片段對(duì)應(yīng)的行為類(lèi)別、稀疏系數(shù)以及其分布概率圖，獲取對(duì)象行為時(shí)空位置。

優(yōu)選地，所述步驟(1)具體包括：

(1.1)將樣本視頻中包含的圖像縮放到同一尺寸下；

(1.2)利用目標(biāo)檢測(cè)器和FPN分別對(duì)歸一化后的圖像進(jìn)行對(duì)象檢測(cè)，獲取兩種對(duì)象檢測(cè)框結(jié)果；

(1.3)對(duì)兩種對(duì)象檢測(cè)框的并集進(jìn)行非極大抑制，獲取篩選的對(duì)象位置；

(1.4)利用快速跟蹤方法和濾波器對(duì)未被篩選的對(duì)象檢測(cè)框進(jìn)行跟蹤，找回未檢出的對(duì)象位置。

優(yōu)選地，所述步驟(2)具體包括：