[發(fā)明專利]舞蹈動(dòng)作美感確認(rèn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110626028.6
• 申請(qǐng)日: 2021-06-04
• 公開（公告）號(hào): CN113392744A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 趙勇;夏鵬飛
• 申請(qǐng)（專利權(quán)）人: 北京格靈深瞳信息技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京新知遠(yuǎn)方知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

1.一種舞蹈動(dòng)作美感確認(rèn)方法，其特征在于，所述方法包括：

獲取舞蹈視頻中與目標(biāo)動(dòng)作對(duì)應(yīng)的視頻片段；

獲取與所述視頻片段中的每幀圖像對(duì)應(yīng)的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，得到關(guān)鍵點(diǎn)圖像組；

將所述關(guān)鍵點(diǎn)圖像組輸入美感預(yù)測模型，得到與所述視頻片段對(duì)應(yīng)的預(yù)測分?jǐn)?shù)，所述美感預(yù)測模型通過樣本片段以及與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)訓(xùn)練得到；

根據(jù)所述預(yù)測分?jǐn)?shù)確定所述目標(biāo)動(dòng)作是否具有美感。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取舞蹈視頻中與目標(biāo)動(dòng)作對(duì)應(yīng)的視頻片段，包括：

識(shí)別所述舞蹈視頻中每幀圖像的人體骨骼關(guān)鍵點(diǎn)；

基于所述人體骨骼關(guān)鍵點(diǎn)，構(gòu)建每幀圖像的特征向量；

根據(jù)所述特征向量從所述舞蹈視頻中，提取出與所述目標(biāo)動(dòng)作對(duì)應(yīng)的視頻片段。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與所述視頻片段中的每幀圖像對(duì)應(yīng)的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，得到關(guān)鍵點(diǎn)圖像組之前，還包括：

獲取所述目標(biāo)動(dòng)作對(duì)應(yīng)的動(dòng)作類型為目標(biāo)類型；

根據(jù)所述目標(biāo)類型查詢信息表，確定與所述目標(biāo)類型對(duì)應(yīng)的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，所述信息表包括動(dòng)作類型與人體骨骼關(guān)鍵點(diǎn)的對(duì)應(yīng)關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述獲取與所述視頻片段中每幀圖像對(duì)應(yīng)的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，得到關(guān)鍵點(diǎn)圖像組，包括：

獲取所述視頻片段中每幀圖像的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，得到與每幀圖像對(duì)應(yīng)的關(guān)鍵點(diǎn)圖像；

根據(jù)所述目標(biāo)人體骨骼關(guān)鍵點(diǎn)，將每個(gè)所述關(guān)鍵點(diǎn)圖像調(diào)整至指定視角，得到與所述視頻片段對(duì)應(yīng)的關(guān)鍵點(diǎn)圖像組。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述美感預(yù)測模型通過以下步驟獲得：

獲取多個(gè)樣本視頻；

從所述樣本視頻中提取出與目標(biāo)動(dòng)作對(duì)應(yīng)的樣本片段；

獲取與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)；

使用所述樣本片段以及與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述美感預(yù)測模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)，包括：

獲取多個(gè)標(biāo)注人員對(duì)所述樣本片段進(jìn)行標(biāo)注后，得到的多個(gè)標(biāo)注分?jǐn)?shù)；

確定所述多個(gè)標(biāo)注分?jǐn)?shù)的中位數(shù)為所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述使用所述樣本片段以及與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述美感預(yù)測模型，包括：

獲取與所述樣本片段對(duì)應(yīng)的關(guān)鍵點(diǎn)圖像組；

將所述關(guān)鍵點(diǎn)圖像組輸入所述神經(jīng)網(wǎng)絡(luò)模型中，得到與所述樣本片段對(duì)應(yīng)的預(yù)測分?jǐn)?shù)；

根據(jù)所述預(yù)測分?jǐn)?shù)和所述標(biāo)注分?jǐn)?shù)的差異，調(diào)節(jié)所述神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，直到所述預(yù)測分?jǐn)?shù)和所述標(biāo)注分?jǐn)?shù)一致。

8.一種舞蹈動(dòng)作美感確認(rèn)裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取舞蹈視頻中與目標(biāo)動(dòng)作對(duì)應(yīng)的視頻片段；

第二獲取模塊，用于獲取與所述視頻片段中的每幀圖像對(duì)應(yīng)的目標(biāo)人體骨骼關(guān)鍵點(diǎn)，得到關(guān)鍵點(diǎn)圖像組；

預(yù)測模塊，用于將所述關(guān)鍵點(diǎn)圖像組輸入美感預(yù)測模型，得到與所述視頻片段對(duì)應(yīng)的預(yù)測分?jǐn)?shù)，所述美感預(yù)測模型通過樣本片段以及與所述樣本片段對(duì)應(yīng)的目標(biāo)標(biāo)注分?jǐn)?shù)訓(xùn)練得到；

確定模塊，用于根據(jù)所述預(yù)測分?jǐn)?shù)確定所述目標(biāo)動(dòng)作的是否具有美感。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)器，與所述一個(gè)或多個(gè)處理器電連接；

一個(gè)或多個(gè)應(yīng)用程序，其中所述一個(gè)或多個(gè)應(yīng)用程序被存儲(chǔ)在所述存儲(chǔ)器中并被配置為由所述一個(gè)或多個(gè)處理器執(zhí)行，所述一個(gè)或多個(gè)應(yīng)用程序配置用于執(zhí)行如權(quán)利要求1至7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中存儲(chǔ)有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如權(quán)利要求1至7任一項(xiàng)所述的方法。