[發(fā)明專(zhuān)利]行為檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111363403.9
• 申請(qǐng)日: 2021-11-17
• 公開(kāi)（公告）號(hào): CN114037958A
• 公開(kāi)（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 袁熙;王宇杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海商湯智能科技有限公司
• 主分類(lèi)號(hào): G06V20/52
• 分類(lèi)號(hào): G06V20/52;G06V20/40;G06V10/25;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 袁忠林

本公開(kāi)提供了一種行為檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待識(shí)別的目標(biāo)視頻幀；對(duì)各個(gè)所述目標(biāo)視頻幀進(jìn)行特征提取，生成中間特征數(shù)據(jù)；其中，所述中間特征數(shù)據(jù)在時(shí)間維度上對(duì)應(yīng)有多個(gè)提取時(shí)間，以及在空間維度上對(duì)應(yīng)有多個(gè)通道；將所述中間特征數(shù)據(jù)中至少一個(gè)所述通道的特征數(shù)據(jù)沿著所述時(shí)間維度進(jìn)行偏移處理，生成目標(biāo)特征數(shù)據(jù)；基于所述目標(biāo)特征數(shù)據(jù)，確定所述目標(biāo)視頻幀中所述目標(biāo)對(duì)象的行為類(lèi)別。

技術(shù)領(lǐng)域

本公開(kāi)涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體而言，涉及一種行為檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著經(jīng)濟(jì)的不斷發(fā)展、基礎(chǔ)設(shè)施建設(shè)的不斷完善，各個(gè)場(chǎng)所的安保措施越發(fā)完善。比如，可以在商場(chǎng)、寫(xiě)字樓、公共交通等場(chǎng)所中設(shè)置閘機(jī)，通過(guò)閘機(jī)保障場(chǎng)所的安全性。在閘機(jī)為各個(gè)場(chǎng)所提供了安全保護(hù)的同時(shí)，也出現(xiàn)了翻越閘機(jī)的違規(guī)行為，該違規(guī)行為影響了公共秩序，并為場(chǎng)所的安全帶來(lái)了風(fēng)險(xiǎn)。

因此，提出一種能夠?qū)τ脩?hù)的行為進(jìn)行監(jiān)測(cè)的方法尤為重要。

發(fā)明內(nèi)容

有鑒于此，本公開(kāi)至少提供一種行為檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本公開(kāi)提供了一種行為檢測(cè)方法，包括：

獲取待識(shí)別的目標(biāo)視頻幀；

對(duì)各個(gè)所述目標(biāo)視頻幀進(jìn)行特征提取，生成中間特征數(shù)據(jù)；其中，所述中間特征數(shù)據(jù)在時(shí)間維度上對(duì)應(yīng)有多個(gè)提取時(shí)間，以及在空間維度上對(duì)應(yīng)有多個(gè)通道；

將所述中間特征數(shù)據(jù)中至少一個(gè)所述通道的特征數(shù)據(jù)沿著所述時(shí)間維度進(jìn)行偏移處理，生成目標(biāo)特征數(shù)據(jù)；

基于所述目標(biāo)特征數(shù)據(jù)，確定所述目標(biāo)視頻幀中所述目標(biāo)對(duì)象的行為類(lèi)別。

上述方法中，通過(guò)在對(duì)各個(gè)目標(biāo)視頻幀進(jìn)行特征提取，生成中間特征數(shù)據(jù)后，可以將中間特征數(shù)據(jù)中至少一個(gè)通道的特征數(shù)據(jù)沿著時(shí)間維度進(jìn)行偏移處理，生成目標(biāo)特征數(shù)據(jù)，使得目標(biāo)特征數(shù)據(jù)中時(shí)間維度相同的各個(gè)通道中，包括不同提取時(shí)間對(duì)應(yīng)的特征數(shù)據(jù)；進(jìn)而在基于目標(biāo)特征數(shù)據(jù)，確定目標(biāo)視頻幀中目標(biāo)對(duì)象的行為類(lèi)別時(shí)，能夠有效的捕捉目標(biāo)對(duì)象的行為動(dòng)作在時(shí)間維度上的特征差異，提高了行為檢測(cè)的準(zhǔn)確率。

一種可能的實(shí)施方式中，所述方法還包括：

在確定所述目標(biāo)視頻幀中所述目標(biāo)對(duì)象的行為類(lèi)別為目標(biāo)行為類(lèi)別的情況下，生成警示信息。

這里，在檢測(cè)到目標(biāo)對(duì)象的行為類(lèi)別屬于目標(biāo)行為類(lèi)別時(shí)，該目標(biāo)行為類(lèi)別可以為存在違規(guī)行為的類(lèi)別，比如翻越閘機(jī)的行為類(lèi)別，可以生成警示信息，以便監(jiān)管人員能夠快速的察覺(jué)到違規(guī)行為，并對(duì)目標(biāo)對(duì)象的違規(guī)行為進(jìn)行約束，提高場(chǎng)地安全性。

一種可能的實(shí)施方式中，所述獲取待識(shí)別的目標(biāo)視頻幀，包括：

獲取對(duì)目標(biāo)場(chǎng)地進(jìn)行檢測(cè)得到的檢測(cè)視頻；

從所述檢測(cè)視頻中選取多個(gè)視頻幀，并對(duì)各個(gè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)視頻幀中包括的目標(biāo)對(duì)象的檢測(cè)框信息；

基于所述目標(biāo)對(duì)象的檢測(cè)框信息和所述多個(gè)視頻幀，生成所述待識(shí)別的目標(biāo)視頻幀。

這里，通過(guò)對(duì)各個(gè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)視頻幀中包括的目標(biāo)對(duì)象的檢測(cè)框信息；再基于目標(biāo)對(duì)象的檢測(cè)框信息和多個(gè)視頻幀，生成待識(shí)別的目標(biāo)視頻幀，目標(biāo)視頻幀中包括與目標(biāo)對(duì)象的檢測(cè)框信息匹配的第一區(qū)域，使得后續(xù)基于目標(biāo)視頻幀能夠較準(zhǔn)確的確定目標(biāo)對(duì)象的行為類(lèi)別。

一種可能的實(shí)施方式中，所述從所述檢測(cè)視頻中選取多個(gè)視頻幀，包括：

對(duì)所述檢測(cè)視頻進(jìn)行解碼處理，生成所述檢測(cè)視頻對(duì)應(yīng)的圖片流數(shù)據(jù)；

從所述圖片流數(shù)據(jù)中選取多個(gè)視頻幀。