[發(fā)明專利]一種行為動作檢測方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011448674.X
• 申請日: 2020-12-09
• 公開（公告）號: CN112560649A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 俞思誠;趙童;吳凡;劉航
• 申請（專利權(quán)）人: 廣州云從鼎望科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李鐵

1.一種行為動作檢測方法，其特征在于，包括以下步驟：

從視頻流中截取一幀或多幀圖像；

對所述一幀或多幀圖像進(jìn)行人體框標(biāo)注和行為類別標(biāo)注，并按照標(biāo)注的人體框坐標(biāo)從所述一幀或多幀圖像中裁剪出對應(yīng)的圖像區(qū)域；

將裁剪出的帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域作為訓(xùn)練數(shù)據(jù)，并基于所述訓(xùn)練數(shù)據(jù)訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，生成行為分類模型；

利用所述行為分類模型對待檢測的圖像進(jìn)行檢測，確定所述待檢測的圖像中是否存在目標(biāo)行為動作。

2.根據(jù)權(quán)利要求1所述的行為動作檢測方法，其特征在于，所述目標(biāo)行為動作包括以下至少之一：翻越行為動作、爬行行為動作。

3.根據(jù)權(quán)利要求2所述的行為動作檢測方法，其特征在于，還包括將存在翻越行為動作的圖像記為正例、不存在翻越行為動作的圖像記為反例；

利用所述行為分類模型對待檢測的圖像進(jìn)行檢測時，若所述行為分類模型將存在翻越行為動作的圖像檢測為反例，則將所述行為分類模型的當(dāng)次檢測結(jié)果記為漏檢；若所述行為分類模型將不存在翻越行為動作的圖像檢測為正例，則將所述行為分類模型的當(dāng)次檢測結(jié)果記為誤檢；

根據(jù)所述漏檢和/或誤檢迭代優(yōu)化所述行為分類模型，降低所述行為分類模型的漏檢和/或誤檢。

4.根據(jù)權(quán)利要求3所述的行為動作檢測方法，其特征在于，根據(jù)所述漏檢和/或誤檢迭代優(yōu)化所述行為分類模型，若所述正例的召回率大于第一閾值，以及所述負(fù)例的召回率大于第二閾值時，停止對所述行為分類模型的優(yōu)化，并將此時的行為分類模型作為最終的行為分類模型；

利用最終的行為分類模型對待檢測的圖像進(jìn)行檢測，確定所述待檢測的圖像中是否存在翻越行為動作。

5.根據(jù)權(quán)利要求2所述的行為動作檢測方法，其特征在于，利用所述行為分類模型對待檢測的圖像進(jìn)行檢測，確定所述待檢測的圖像中是否存在翻越行為動作，包括：

將待檢測的圖像輸入至人體檢測工具包中，通過所述人體檢測工具包將待檢測圖像的尺寸調(diào)整至目標(biāo)尺寸后進(jìn)行推理，返回所有人體在待檢測的圖像上的人體框坐標(biāo)和對應(yīng)的置信度；其中，所述人體檢測工具包括有用于獲取人體框坐標(biāo)和對應(yīng)置信度的人體檢測模型和/或人體關(guān)鍵點(diǎn)模型；

按照人體框坐標(biāo)從待檢測的圖像中裁剪出置信度大于預(yù)設(shè)閾值的人體框圖像區(qū)域；

利用所述行為分類模型對裁剪出的人體框圖像區(qū)域進(jìn)行翻越行為動作檢測，并將檢測結(jié)果與人體框坐標(biāo)進(jìn)行結(jié)合后在所述待檢測的圖像上進(jìn)行標(biāo)注，確定所述待檢測的圖像中是否存在翻越行為動作。

6.根據(jù)權(quán)利要求1所述的行為動作檢測方法，其特征在于，還包括對所述訓(xùn)練數(shù)據(jù)進(jìn)行離線增強(qiáng)，所述增強(qiáng)方式包括以下至少之一：

對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行旋轉(zhuǎn)、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行錯切、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行翻轉(zhuǎn)、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行色彩調(diào)整、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行色調(diào)分離、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行曝光度調(diào)整、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行對比度調(diào)整、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行亮度調(diào)整、對帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域進(jìn)行銳化。

7.一種行為動作檢測系統(tǒng)，其特征在于，包括有：

采集模塊，用于從視頻流中截取一幀或多幀圖像；

標(biāo)注模塊，用于對所述一幀或多幀圖像進(jìn)行人體框標(biāo)注和行為類別標(biāo)注；

裁剪模塊，用于按照標(biāo)注的人體框坐標(biāo)從所述一幀或多幀圖像中裁剪出對應(yīng)的圖像區(qū)域；

訓(xùn)練模塊，用于將裁剪出的帶人體框標(biāo)注和行為類別標(biāo)注的圖像區(qū)域作為訓(xùn)練數(shù)據(jù)，并基于所述訓(xùn)練數(shù)據(jù)訓(xùn)練分類神經(jīng)網(wǎng)絡(luò)，生成行為分類模型；

檢測模塊，用于利用所述行為分類模型對待檢測的圖像進(jìn)行檢測，確定所述待檢測的圖像中是否存在目標(biāo)行為動作。

8.根據(jù)權(quán)利要求7所述的行為動作檢測系統(tǒng)，其特征在于，所述目標(biāo)行為動作包括以下至少之一：翻越行為動作、爬行行為動作。