[發(fā)明專利]一種行為動(dòng)作檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011448674.X
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112560649A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 俞思誠(chéng);趙童;吳凡;劉航
• 申請(qǐng)（專利權(quán)）人: 廣州云從鼎望科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李鐵

本發(fā)明提供一種行為動(dòng)作檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，通過從視頻流中截取一幀或多幀圖像；對(duì)一幀或多幀圖像進(jìn)行人體框標(biāo)注和行為類別標(biāo)注，并按照標(biāo)注的人體框坐標(biāo)從一幀或多幀圖像中裁剪出對(duì)應(yīng)的圖像區(qū)域；將裁剪出的帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域作為訓(xùn)練數(shù)據(jù)，并基于訓(xùn)練數(shù)據(jù)訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，生成行為分類模型；利用行為分類模型對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)，確定待檢測(cè)的圖像中是否存在目標(biāo)行為動(dòng)作。本發(fā)明利用深度學(xué)習(xí)算法進(jìn)行翻越行為檢測(cè)，可以大幅降低誤檢率和漏檢率。并且本發(fā)明能夠應(yīng)用在多個(gè)場(chǎng)景中，可以針對(duì)人在欄桿附近的行為進(jìn)行針對(duì)性學(xué)習(xí)區(qū)分，更精確地判斷人是扶著欄桿還是正在翻越，使本發(fā)明的誤報(bào)率能夠小于1％。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，特別是涉及一種行為動(dòng)作檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

傳統(tǒng)的翻越行為檢測(cè)通常依賴于人工操作，需要利用人員現(xiàn)場(chǎng)值守來判斷是否存在翻越行為，但該方法有很大局限性，例如對(duì)人力資源需求大，管理成本高，工作效率低下，且人的觀察范圍有限，精力有限，檢測(cè)準(zhǔn)確性十分依賴于精神集中度等主觀因素。此外也有專門人員值守觀察監(jiān)控方法，同時(shí)負(fù)責(zé)多個(gè)監(jiān)控，雖然效率高于現(xiàn)場(chǎng)值守方法，但也受限于人的主觀能力。

隨著社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)發(fā)展，人力檢測(cè)的方法相比于其他自動(dòng)檢測(cè)方法缺點(diǎn)越發(fā)明顯。例如現(xiàn)有技術(shù)提供有翻越檢測(cè)方法，這些方法的思路是在欄桿或者圍墻上，安裝例如紅外、微波等感應(yīng)裝置，導(dǎo)致這種方法設(shè)備成本和安裝成本非常高，并且遷移性差，在很多場(chǎng)合下難以落地應(yīng)用。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種行為動(dòng)作檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，用于解決現(xiàn)有技術(shù)中采用人工檢測(cè)翻越行為動(dòng)作時(shí)存在的技術(shù)問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種行為動(dòng)作檢測(cè)方法，包括以下步驟：

從視頻流中截取一幀或多幀圖像；

對(duì)所述一幀或多幀圖像進(jìn)行人體框標(biāo)注和行為類別標(biāo)注，并按照標(biāo)注的人體框坐標(biāo)從所述一幀或多幀圖像中裁剪出對(duì)應(yīng)的圖像區(qū)域；

將裁剪出的帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域作為訓(xùn)練數(shù)據(jù)，并基于所述訓(xùn)練數(shù)據(jù)訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，生成行為分類模型；

利用所述行為分類模型對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)，確定所述待檢測(cè)的圖像中是否存在目標(biāo)行為動(dòng)作。

可選地，所述目標(biāo)行為動(dòng)作包括以下至少之一：翻越行為動(dòng)作、爬行行為動(dòng)作。

可選地，還包括將存在翻越行為動(dòng)作的圖像記為正例、不存在翻越行為動(dòng)作的圖像記為反例；

利用所述行為分類模型對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)時(shí)，若所述行為分類模型將存在翻越行為動(dòng)作的圖像檢測(cè)為反例，則將所述行為分類模型的當(dāng)次檢測(cè)結(jié)果記為漏檢；若所述行為分類模型將不存在翻越行為動(dòng)作的圖像檢測(cè)為正例，則將所述行為分類模型的當(dāng)次檢測(cè)結(jié)果記為誤檢；

根據(jù)所述漏檢和/或誤檢迭代優(yōu)化所述行為分類模型，降低所述行為分類模型的漏檢和/或誤檢。

可選地，根據(jù)所述漏檢和/或誤檢迭代優(yōu)化所述行為分類模型，若所述正例的召回率大于第一閾值，以及所述負(fù)例的召回率大于第二閾值時(shí)，停止對(duì)所述行為分類模型的優(yōu)化，并將此時(shí)的行為分類模型作為最終的行為分類模型；

利用最終的行為分類模型對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)，確定所述待檢測(cè)的圖像中是否存在翻越行為動(dòng)作。

可選地，利用所述行為分類模型對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)，確定所述待檢測(cè)的圖像中是否存在翻越行為動(dòng)作，包括：

將待檢測(cè)的圖像輸入至人體檢測(cè)工具包中，通過所述人體檢測(cè)工具包將待檢測(cè)圖像的尺寸調(diào)整至目標(biāo)尺寸后進(jìn)行推理，返回所有人體在待檢測(cè)的圖像上的人體框坐標(biāo)和對(duì)應(yīng)的置信度；其中，所述人體檢測(cè)工具包括有用于獲取人體框坐標(biāo)和對(duì)應(yīng)置信度的人體檢測(cè)模型和/或人體關(guān)鍵點(diǎn)模型；