[發(fā)明專利]一種行為識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210101633.6
• 申請(qǐng)日: 2022-01-27
• 公開(kāi)（公告）號(hào): CN114429608A
• 公開(kāi)（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 蘇海昇
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V40/20;G06V10/764;G06K9/62
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 賈偉;張穎玲

1.一種行為識(shí)別方法，其特征在于，所述方法包括：

獲取包括待識(shí)別對(duì)象的視頻幀序列；

在所述視頻幀序列中，確定所述待識(shí)別對(duì)象所在的第一圖像區(qū)域集合；

基于所述第一圖像區(qū)域集合中所述待識(shí)別對(duì)象的行為類別，對(duì)不同第一圖像區(qū)域之間的特征距離進(jìn)行調(diào)整，得到第二圖像區(qū)域集合；

基于所述第二圖像區(qū)域集合，對(duì)所述待識(shí)別對(duì)象的行為進(jìn)行識(shí)別，得到識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述視頻幀序列中，確定所述待識(shí)別對(duì)象所在的第一圖像區(qū)域集合，包括：

對(duì)每一視頻幀中的所述待識(shí)別對(duì)象進(jìn)行檢測(cè)，得到所述待識(shí)別對(duì)象的多個(gè)檢測(cè)框；

在所述每一視頻幀中對(duì)所述多個(gè)檢測(cè)框的面積進(jìn)行調(diào)整，得到多個(gè)已調(diào)整區(qū)域；

在所述每一視頻幀的多個(gè)已調(diào)整區(qū)域中，確定所述第一圖像區(qū)域集合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在所述每一視頻幀的多個(gè)已調(diào)整區(qū)域中，確定所述第一圖像區(qū)域集合，包括：

在所述每一視頻幀的多個(gè)已調(diào)整區(qū)域中，確定與參考已調(diào)整區(qū)域的重疊度大于預(yù)設(shè)重疊度閾值且面積小于預(yù)設(shè)面積閾值的目標(biāo)已調(diào)整區(qū)域；

在所述每一視頻幀的多個(gè)已調(diào)整區(qū)域中，剔除所述目標(biāo)已調(diào)整區(qū)域，得到所述每一視頻幀的所述第一圖像區(qū)域集合；

其中，所述參考已調(diào)整區(qū)域?yàn)樗龆鄠€(gè)已調(diào)整區(qū)域中第一置信度大于第一置信度閾值的任一已調(diào)整區(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一圖像區(qū)域集合中所述待識(shí)別對(duì)象的行為類別，對(duì)不同第一圖像區(qū)域之間的特征距離進(jìn)行調(diào)整，得到第二圖像區(qū)域集合之前，所述方法還包括：

從所述視頻幀序列中，選擇小于預(yù)設(shè)幀數(shù)的視頻幀作為目標(biāo)視頻幀；

基于每一目標(biāo)視頻幀中的第一圖像區(qū)域，對(duì)所述待識(shí)別對(duì)象的行為進(jìn)行分類，得到所述待識(shí)別對(duì)象的行為類別。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述基于所述第一圖像區(qū)域集合中所述待識(shí)別對(duì)象的行為類別，對(duì)不同第一圖像區(qū)域之間的特征距離進(jìn)行調(diào)整，得到第二圖像區(qū)域集合，包括：

對(duì)所述行為類別相同的第一圖像區(qū)域之間的特征距離進(jìn)行減小和/或?qū)λ鲂袨轭悇e不同的第一圖像區(qū)域之間的特征距離進(jìn)行增大，得到所述第二圖像區(qū)域集合。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，在所述視頻幀序列中的視頻幀包括至少一個(gè)第二圖像區(qū)域的情況下，所述基于所述第二圖像區(qū)域集合，對(duì)所述待識(shí)別對(duì)象的行為進(jìn)行識(shí)別，得到識(shí)別結(jié)果，包括：

確定所述視頻幀中每一第二圖像區(qū)域的行為類別為預(yù)設(shè)類別的第二置信度；

在所述視頻幀的至少一個(gè)第二圖像區(qū)域中，確定所述第二置信度大于或等于第二置信度閾值的候選圖像區(qū)域，得到候選圖像區(qū)域集合；

在所述候選圖像區(qū)域集合中，剔除與所述候選圖像區(qū)域集合的空間距離滿足預(yù)設(shè)條件的候選圖像區(qū)域，得到剔除后的候選圖像區(qū)域集合；

基于所述視頻幀中的所述剔除后的候選圖像區(qū)域集合，對(duì)所述待識(shí)別對(duì)象的行為進(jìn)行識(shí)別，得到所述識(shí)別結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在所述候選圖像區(qū)域集合中，剔除與所述候選圖像區(qū)域集合的空間距離滿足預(yù)設(shè)條件的候選圖像區(qū)域，得到剔除后的候選圖像區(qū)域集合，包括：

在所述候選圖像區(qū)域集合中，確定所述第二置信度等于第二置信度閾值的候選圖像區(qū)域子集合；

在所述候選圖像區(qū)域子集合中，確定任一候選圖像區(qū)域與其他候選圖像區(qū)域之間的空間距離；其中，所述其他候選圖像區(qū)域?yàn)樗龊蜻x圖像區(qū)域子集合中除所述任一候選圖像區(qū)域之外的候選圖像區(qū)域；

確定所述空間距離大于預(yù)設(shè)空間距離閾值的待剔除候選圖像區(qū)域；

在所述候選圖像區(qū)域集合中，剔除所述待剔除候選圖像區(qū)域，得到所述剔除后的候選圖像區(qū)域集合。