[發(fā)明專利]動(dòng)作識(shí)別方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010330214.0
• 申請(qǐng)日: 2020-04-23
• 公開（公告）號(hào): CN111680543B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 吳騫
• 申請(qǐng)（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/80;G06T3/40;G06T7/246
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種動(dòng)作識(shí)別方法，其特征在于，包括：

如果從視頻幀中檢測出目標(biāo)對(duì)象，獲取包含有所述目標(biāo)對(duì)象的多張圖像，以及所述多張圖像的光流圖像；

從所述多張圖像中提取所述目標(biāo)對(duì)象的對(duì)象軌跡特征，從所述多張圖像的光流圖像中提取所述目標(biāo)對(duì)象的光流軌跡特征；所述對(duì)象軌跡特征用于表征所述目標(biāo)對(duì)象的空間特征信息，所述光流軌跡特征用于表征所述目標(biāo)對(duì)象的時(shí)間特征信息；

根據(jù)所述對(duì)象軌跡特征和所述光流軌跡特征，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像；

根據(jù)所述目標(biāo)圖像和所述目標(biāo)圖像的光流圖像，識(shí)別所述目標(biāo)對(duì)象的動(dòng)作類型。

2.根據(jù)權(quán)利要求1所述的動(dòng)作識(shí)別方法，其特征在于，所述根據(jù)所述對(duì)象軌跡特征和所述光流軌跡特征，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像的步驟，包括：

對(duì)所述多張圖像中的每張圖像均執(zhí)行下述操作：對(duì)圖像中所述目標(biāo)對(duì)象的對(duì)象軌跡特征和光流軌跡特征進(jìn)行拼接，得到所述目標(biāo)對(duì)象的復(fù)合軌跡特征；或者，將圖像中所述目標(biāo)對(duì)象的對(duì)象軌跡特征和光流軌跡特征相加，得到所述目標(biāo)對(duì)象的復(fù)合軌跡特征；

根據(jù)所述目標(biāo)對(duì)象的復(fù)合軌跡特征，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像。

3.根據(jù)權(quán)利要求2所述的動(dòng)作識(shí)別方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)象的復(fù)合軌跡特征，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像的步驟，包括：

將所述多張圖像按時(shí)間順序順次排序；

根據(jù)每個(gè)圖像集包含的預(yù)設(shè)圖像數(shù)，將排序后的所述多張圖像劃分為多個(gè)圖像集；

對(duì)每一所述圖像集，按預(yù)設(shè)采樣長度對(duì)所述圖像集中所述目標(biāo)對(duì)象的復(fù)合軌跡特征進(jìn)行采樣，得到所述圖像集的采樣特征；

將所述圖像集的采樣特征輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，輸出所述圖像集包含發(fā)生動(dòng)作的圖像的概率，所述圖像集中首張圖像相對(duì)發(fā)生動(dòng)作的圖像區(qū)間始端的第一偏移量，以及所述圖像集中末張圖像相對(duì)所述圖像區(qū)間末端的第二偏移量；

根據(jù)所述圖像集包含發(fā)生動(dòng)作的圖像的概率，所述第一偏移量和所述第二偏移量，確定所述圖像集中發(fā)生動(dòng)作的目標(biāo)圖像。

4.根據(jù)權(quán)利要求2所述的動(dòng)作識(shí)別方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)象的復(fù)合軌跡特征，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像的步驟，包括：

對(duì)所述多張圖像中的每張圖像，根據(jù)圖像中所述目標(biāo)對(duì)象的復(fù)合軌跡特征，確定所述圖像作為動(dòng)作起始圖像的第一概率、所述圖像作為動(dòng)作結(jié)束圖像的第二概率、以及所述圖像發(fā)生了動(dòng)作的第三概率；

根據(jù)每張圖像的所述第一概率、所述第二概率和所述第三概率，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像。

5.根據(jù)權(quán)利要求4所述的動(dòng)作識(shí)別方法，其特征在于，所述根據(jù)圖像中所述目標(biāo)對(duì)象的復(fù)合軌跡特征，確定所述圖像作為動(dòng)作起始圖像的第一概率，所述圖像作為動(dòng)作結(jié)束圖像的第二概率，以及所述圖像發(fā)生了動(dòng)作的第三概率的步驟，包括：

將圖像中所述目標(biāo)對(duì)象的復(fù)合軌跡特征，輸入到預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，輸出所述圖像作為動(dòng)作起始圖像的第一概率、所述圖像作為動(dòng)作結(jié)束圖像的第二概率，以及所述圖像發(fā)生了動(dòng)作的第三概率。

6.根據(jù)權(quán)利要求4所述的動(dòng)作識(shí)別方法，其特征在于，所述根據(jù)每張圖像的所述第一概率、所述第二概率和所述第三概率，從所述多張圖像中確定發(fā)生動(dòng)作的目標(biāo)圖像的步驟，包括：

根據(jù)所述第一概率、所述第二概率以及預(yù)設(shè)的概率要求，從所述多張圖像中確定滿足所述概率要求的動(dòng)作起始圖像和動(dòng)作結(jié)束圖像；

根據(jù)所述動(dòng)作起始圖像和所述動(dòng)作結(jié)束圖像確定發(fā)生動(dòng)作的圖像集；

按預(yù)設(shè)采樣長度對(duì)所述圖像集中所述目標(biāo)對(duì)象的復(fù)合軌跡特征進(jìn)行采樣，得到所述圖像集的采樣特征；

將所述圖像集的采樣特征，以及所述圖像集中每張圖像的所述第三概率，輸入預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，輸出所述圖像集包含發(fā)生動(dòng)作的圖像的概率；

根據(jù)所述圖像集包含發(fā)生動(dòng)作的圖像的概率，確定發(fā)生動(dòng)作的目標(biāo)圖像。