[發明專利]一種舞蹈動作姿態、節奏和表情的智能評估方法

有效

• 申請號: 202110449558.8
• 申請日: 2021-04-25
• 公開（公告）號: CN113158914B
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 王靜;胡勇
• 申請（專利權）人: 胡勇
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V40/16;G06V10/74;G06V10/70;G06K9/62;G06N20/00
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種舞蹈動作姿態、節奏和表情的智能評估方法，其特征在于，包括以下步驟：

S1：采集老師舞蹈視頻和學生舞蹈視頻，并提取學生初始關節點數據、學生初始面部關鍵點數據、老師初始關節點數據和老師初始面部關鍵點數據；

S2：對學生初始關節點數據依次進行預處理和歸一化處理，對學生初始面部關鍵點數據、老師初始關節點數據和老師初始面部關鍵點數據進行歸一化處理，得到學生最終關節點數據、學生最終面部關鍵點數據、老師最終關節點數據和老師最終面部關鍵點數據；

S3：根據學生最終關節點數據和老師最終關節點數據，計算每幀圖像的動作姿態相似度，根據學生最終面部關鍵點數據和老師最終面部關鍵點數據，計算每幀圖像的面部表情相似度；

S4：根據每幀圖像的動作姿態相似度，分別提取老師舞蹈視頻中的關鍵幀和學生舞蹈視頻中的關鍵幀；

S5：根據老師舞蹈視頻中的關鍵幀、學生舞蹈視頻中的關鍵幀、關鍵幀圖像的動作姿態相似度和關鍵幀圖像的面部表情相似度，進行學生舞蹈視頻的動作姿態準確度判斷、動作節奏準確度判斷和表情評估；

所述步驟S3中，計算面部表情相似度包括以下子步驟：

S31：基于老師舞蹈視頻，提取每幀圖像中老師最終面部關鍵點數據的鼻尖節點、臉部主輪廓起始節點、臉部主輪廓末尾節點和下顎節點，基于學生舞蹈視頻，提取每幀圖像中學生最終關節點數據的頸部節點、雙肩節點、頭部節點和臀部節點，并對每幀圖像進行歸一化處理；

S32：對歸一化處理后的每幀圖像進行面部匹配；

S33：利用歐式距離法計算面部匹配后的面部表情相似度；

所述步驟S31中，進行歸一化處理的具體方法為：將鼻尖節點作為中心節點，計算鼻尖節點和臉部主輪廓起始節點的距離D_t1、鼻尖節點和臉部主輪廓末尾節點D_t2與鼻尖節點和下顎節點的距離D_t3，其計算公式為：

其中，Xt表示老師面部中心節點的橫坐標，Yt表示老師面部中心節點的縱坐標，Xti表示老師面部其余節點的橫坐標，Yti表示老師面部其余節點的縱坐標；

將頸部節點作為中心節點，計算頸部節點和雙肩節點的距離D_s1、頸部節點和頭部節點的距離D_s2與頸部節點和臀部節點的距離D_s3，其計算公式為：

其中，Xs表示學生面部中心節點的橫坐標，Ys表示學生面部中心節點的縱坐標，Xsi表示學生面部其余節點的橫坐標，Ysi表示學生面部其余節點的縱坐標；

根據兩幀對應圖像中的對應距離計算對應比例R_i，其計算公式為：

R_i＝D_si/D_ti，i＝1，2，3

根據對應比例R_i計算放縮均值R，并作為放縮比例，完成歸一化處理，其計算公式為：

所述步驟S32包括以下子步驟：

S321：將老師舞蹈視頻中每幀圖像的中心節點橫縱坐標減去學生舞蹈視頻中對應幀圖像的中心節點橫縱坐標，得到兩幀圖像中心節點之間的水平距離dis_x和垂直距離dis_y；

S322：對老師舞蹈視頻中的面部尺寸進行resize，并調節老師最終關節點數據的坐標，其調節公式為：

V_Xi＝(R-1)*(X_i-tch_x)

V_Yi＝(R-1)*(Y_i-tch_y)

其中，V_Xi表示第i個關節點的橫坐標加上的調節值，V_Yi表示第i個關節點的縱坐標加上的調節值，X_i表示第i個關節點的原始橫坐標，Y_i表示第i個關節點的原始縱坐標，tch_x表示中心節點的橫坐標，tch_y表示中心節點的縱坐標，R表示放縮均值；

S323：將老師舞蹈視頻中的中心節點作為粘合節點，將老師舞蹈視頻中的所有關節點的橫縱坐標分別對應減去水平距離dis_x和垂直距離dis_y，并將經過resize后的老師面部平移映射至學生面部上，完成面部表情匹配；

所述步驟S5中，進行動作節奏準確度判斷的具體方法為：統計所有學生舞蹈視頻中關鍵幀動作節奏不合格的次數C_T，并統計學生舞蹈視頻中所有關鍵幀和老師舞蹈視頻中所有關鍵幀的時間偏差和S_T，根據次數C_T和時間偏差和S_T計算動作節奏分數R，完成動作節奏準確度評估；

判斷學生舞蹈視頻中關鍵幀動作節奏不合格的方法為：若|x1-x|≥t，則認為該學生的動作節奏不合格，其中，x1和x分別表示同一動作在老師舞蹈視頻關鍵幀和學生舞蹈視頻關鍵幀中出現的時間，t表示老師動作和學生動作允許的最大時間延遲；

時間偏差和S_T的計算公式為：

其中，T表示學生關鍵幀集合，xi表示某一動作在老師舞蹈視頻關鍵幀出現的時間；

節奏分數R的計算公式為：

R＝100-αC_T-βS_T

其中，α和β均表示權重系數；

所述步驟S5中，進行表情準確度判斷的具體方法為：將老師舞蹈視頻中的關鍵幀和學生舞蹈視頻中的關鍵幀進行比較，若兩個關鍵幀間的面部表情相似度在設定相似度閾值之內，且|x1-x|≤t1，則該學生的面部表情合格，否則該學生的面部表情不合格，并繼續比較下一關鍵幀，直到所有關鍵幀比較完畢，其中，x1和x分別表示同一面部表情在老師舞蹈視頻關鍵幀和學生舞蹈視頻關鍵幀中出現的時間，t1表示老師面部表情和學生面部表情允許的最大時間延遲。