[發(fā)明專利]一種舞蹈動(dòng)作姿態(tài)、節(jié)奏和表情的智能評(píng)估方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110449558.8
• 申請(qǐng)日: 2021-04-25
• 公開（公告）號(hào): CN113158914B
• 公開（公告）日: 2022-01-18
• 發(fā)明（設(shè)計(jì)）人: 王靜;胡勇
• 申請(qǐng)（專利權(quán)）人: 胡勇
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V40/16;G06V10/74;G06V10/70;G06K9/62;G06N20/00
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 李蕊

本發(fā)明公開了一種舞蹈動(dòng)作姿態(tài)、節(jié)奏和表情的智能評(píng)估方法，包括以下步驟：S1：提取學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生初始面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師初始面部關(guān)鍵點(diǎn)數(shù)據(jù)；S2：進(jìn)行預(yù)處理和歸一化處理，得到學(xué)生最終關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生最終面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師最終關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師最終面部關(guān)鍵點(diǎn)數(shù)據(jù)；S3：計(jì)算每幀圖像的面部表情相似度；S4：提取老師舞蹈視頻和學(xué)生舞蹈視頻中的關(guān)鍵幀；S5：進(jìn)行學(xué)生舞蹈視頻的動(dòng)作姿態(tài)準(zhǔn)確度判斷、動(dòng)作節(jié)奏準(zhǔn)確度判斷和表情評(píng)估。本方法結(jié)合人工智能深度學(xué)習(xí)技術(shù)，將人體姿態(tài)分析技術(shù)和面部識(shí)別技術(shù)應(yīng)用到實(shí)際工程領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種舞蹈動(dòng)作姿態(tài)、節(jié)奏和表情的智能評(píng)估方法。

背景技術(shù)

近年來，動(dòng)作姿態(tài)和面部視頻自動(dòng)分析是計(jì)算機(jī)視覺領(lǐng)域一個(gè)很活躍的分支，相關(guān)領(lǐng)域的研究越來越深入。識(shí)別場(chǎng)景從靜態(tài)圖像到動(dòng)態(tài)視頻，識(shí)別實(shí)體從單一個(gè)體到復(fù)雜場(chǎng)景多目標(biāo)識(shí)別，識(shí)別要求從分辨率有嚴(yán)格要求到像素稀疏、目標(biāo)重疊，姿態(tài)估計(jì)與面部識(shí)別逐漸地接近人們的實(shí)際生活，將給人們生活到來巨大的便利。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決人體舞蹈動(dòng)作姿態(tài)和動(dòng)作節(jié)奏及面部表情的準(zhǔn)確性與相似度的評(píng)價(jià)分析問題，提出了一種舞蹈動(dòng)作姿態(tài)、節(jié)奏與表情的評(píng)估方法。

本發(fā)明的技術(shù)方案是：一種舞蹈動(dòng)作姿態(tài)、節(jié)奏和表情的智能評(píng)估方法，包括以下步驟：

S1：采集老師舞蹈視頻和學(xué)生舞蹈視頻，并提取學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生初始面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師初始面部關(guān)鍵點(diǎn)數(shù)據(jù)；

S2：對(duì)學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)依次進(jìn)行預(yù)處理和歸一化處理，對(duì)學(xué)生初始面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師初始面部關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行歸一化處理，得到學(xué)生最終關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生最終面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師最終關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師最終面部關(guān)鍵點(diǎn)數(shù)據(jù)；

S3：根據(jù)學(xué)生最終關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師最終關(guān)節(jié)點(diǎn)數(shù)據(jù)，計(jì)算每幀圖像的動(dòng)作姿態(tài)相似度，根據(jù)學(xué)生最終面部關(guān)鍵點(diǎn)數(shù)據(jù)和老師最終面部關(guān)鍵點(diǎn)數(shù)據(jù)，計(jì)算每幀圖像的面部表情相似度；

S4：分別提取老師舞蹈視頻中的關(guān)鍵幀和學(xué)生舞蹈視頻中的關(guān)鍵幀；

S5：根據(jù)老師舞蹈視頻的關(guān)鍵幀、學(xué)生舞蹈視頻中的關(guān)鍵幀、關(guān)鍵幀圖像的動(dòng)作姿態(tài)相似度和關(guān)鍵幀圖像的面部表情相似度，進(jìn)行學(xué)生舞蹈視頻的動(dòng)作姿態(tài)準(zhǔn)確度判斷、動(dòng)作節(jié)奏準(zhǔn)確度判斷和表情評(píng)估。

進(jìn)一步地，步驟S1中，提取學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生初始面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師初始面部關(guān)鍵點(diǎn)數(shù)據(jù)的方法相同，具體為：利用Alphapose姿態(tài)估計(jì)算法對(duì)舞蹈視頻進(jìn)行跳幀提取，得到初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和初始面部關(guān)鍵點(diǎn)數(shù)據(jù)。

進(jìn)一步地，步驟S2中，對(duì)學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行預(yù)處理的方法具體為：根據(jù)舞蹈視頻中老師身高h(yuǎn)1、老師體重w1、學(xué)生身高h(yuǎn)2和學(xué)生體重w2，將學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)分別進(jìn)行縱向拉伸和橫向拉伸，其計(jì)算公式為：

X1＝X*(w1/w2)

Y1＝Y(jié)*(h1/h2)

其中，X表示學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)的x坐標(biāo)，Y學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)的y坐標(biāo)，X1表示X在橫坐標(biāo)方向拉伸后的關(guān)節(jié)點(diǎn)數(shù)據(jù)，Y1表示Y在縱坐標(biāo)方向拉伸后的關(guān)節(jié)點(diǎn)數(shù)據(jù)；

對(duì)預(yù)處理后的學(xué)生初始關(guān)節(jié)點(diǎn)數(shù)據(jù)、學(xué)生初始面部關(guān)鍵點(diǎn)數(shù)據(jù)、老師初始關(guān)節(jié)點(diǎn)數(shù)據(jù)和老師初始面部關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行歸一化處理時(shí)的計(jì)算公式為：

X2＝(X–X_Min)*(X_Max–X_Min)

Y2＝(Y–Y_Min)*(Y_Max–Y_Min)