[發(fā)明專(zhuān)利]動(dòng)作識(shí)別方法、裝置、設(shè)備、介質(zhì)和產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202110872867.6
• 申請(qǐng)日: 2021-07-30
• 公開(kāi)（公告）號(hào): CN113591709B
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 周德森;王健;孫昊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種動(dòng)作識(shí)別方法，包括：

獲取目標(biāo)視頻；

確定所述目標(biāo)視頻對(duì)應(yīng)的各個(gè)動(dòng)作類(lèi)別；

對(duì)于每個(gè)動(dòng)作類(lèi)別，從所述目標(biāo)視頻中確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀；其中，每個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀為該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作初始狀態(tài)對(duì)應(yīng)的視頻幀，每個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換后視頻幀為該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作結(jié)束狀態(tài)對(duì)應(yīng)的視頻幀；

基于各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀，確定各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作次數(shù)，包括：對(duì)于每個(gè)動(dòng)作類(lèi)別，基于該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀在所述目標(biāo)視頻中的幀位置，確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀之間的動(dòng)作轉(zhuǎn)換次數(shù)；基于各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換次數(shù)，確定各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作次數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)于每個(gè)動(dòng)作類(lèi)別，從所述目標(biāo)視頻中確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀，包括：

基于所述目標(biāo)視頻和預(yù)設(shè)的動(dòng)作識(shí)別模型，確定所述目標(biāo)視頻中各個(gè)視頻幀對(duì)應(yīng)的動(dòng)作信息；

對(duì)于每個(gè)動(dòng)作類(lèi)別，基于所述動(dòng)作信息，從所述各個(gè)視頻幀中確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述目標(biāo)視頻和預(yù)設(shè)的動(dòng)作識(shí)別模型，確定所述目標(biāo)視頻中各個(gè)視頻幀對(duì)應(yīng)的動(dòng)作信息，包括：

對(duì)于所述目標(biāo)視頻中每個(gè)視頻幀，基于該視頻幀和所述預(yù)設(shè)的動(dòng)作識(shí)別模型，確定該視頻幀屬于所述各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀的概率信息；

基于所述概率信息，確定所述動(dòng)作信息。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述預(yù)設(shè)的動(dòng)作識(shí)別模型由以下步驟訓(xùn)練得到：

獲取各個(gè)樣本圖像；

確定每個(gè)樣本圖像對(duì)應(yīng)的動(dòng)作標(biāo)注信息；

基于所述各個(gè)樣本圖像和待訓(xùn)練模型，確定所述各個(gè)樣本圖像對(duì)應(yīng)的樣本動(dòng)作信息；

基于所述樣本動(dòng)作信息、所述動(dòng)作標(biāo)注信息以及預(yù)設(shè)的損失函數(shù)，對(duì)所述待訓(xùn)練模型進(jìn)行訓(xùn)練，直至所述待訓(xùn)練模型收斂，得到所述預(yù)設(shè)的動(dòng)作識(shí)別模型。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述獲取各個(gè)樣本圖像，包括：

確定所述各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的類(lèi)別數(shù)量；

基于目標(biāo)參數(shù)，獲取所述各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的所述各個(gè)樣本圖像；所述目標(biāo)參數(shù)包括以下至少一項(xiàng)：所述類(lèi)別數(shù)量、預(yù)設(shè)的動(dòng)作角度、預(yù)設(shè)的距離參數(shù)、動(dòng)作轉(zhuǎn)換參數(shù)。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述各個(gè)樣本圖像和待訓(xùn)練模型，確定所述各個(gè)樣本圖像對(duì)應(yīng)的樣本動(dòng)作信息，包括：

對(duì)于每個(gè)樣本圖像，基于該樣本圖像和所述待訓(xùn)練模型，確定該樣本圖像屬于所述各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀的樣本概率信息；

基于所述樣本概率信息，確定所述樣本動(dòng)作信息。

7.一種動(dòng)作識(shí)別裝置，包括：

視頻獲取單元，被配置成獲取目標(biāo)視頻；

類(lèi)別確定單元，被配置成確定所述目標(biāo)視頻對(duì)應(yīng)的各個(gè)動(dòng)作類(lèi)別；

轉(zhuǎn)換幀確定單元，被配置成對(duì)于每個(gè)動(dòng)作類(lèi)別，從所述目標(biāo)視頻中確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀；其中，每個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀為該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作初始狀態(tài)對(duì)應(yīng)的視頻幀，每個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換后視頻幀為該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作結(jié)束狀態(tài)對(duì)應(yīng)的視頻幀；

動(dòng)作計(jì)數(shù)單元，被配置成基于各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀，確定各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作次數(shù)；

所述動(dòng)作計(jì)數(shù)單元進(jìn)一步被配置成：

對(duì)于每個(gè)動(dòng)作類(lèi)別，基于該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀在所述目標(biāo)視頻中的幀位置，確定該動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換前視頻幀和動(dòng)作轉(zhuǎn)換后視頻幀之間的動(dòng)作轉(zhuǎn)換次數(shù)；

基于各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作轉(zhuǎn)換次數(shù)，確定各個(gè)動(dòng)作類(lèi)別對(duì)應(yīng)的動(dòng)作次數(shù)。