[發明專利]舞蹈片段識別方法、舞蹈片段識別裝置和存儲介質

有效

• 申請號: 202011052113.8
• 申請日: 2020-09-29
• 公開（公告）號: CN112100436B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 周默;楊翕雯;瞿煒;王麒銘;張鵬燊;同亞龍
• 申請（專利權）人: 新東方教育科技集團有限公司
• 主分類號: G06F16/68
• 分類號: G06F16/68;G10L25/30;G10L25/51;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種舞蹈片段識別方法，包括：

提取視頻片段中的音頻片段；

響應于所述音頻片段包括時長大于等于預定時間長度的音樂片段，將所述視頻片段包括的對應于所述音樂片段的視頻子片段作為候選舞蹈片段；

響應于所述候選舞蹈片段的多幀圖像中具有舞蹈動作的圖像的幀數大于第一預定閾值，將所述候選舞蹈片段判定為舞蹈片段；

所述舞蹈片段識別方法還包括：

將所述音頻片段劃分為多個音頻子片段；

響應于所述多個音頻子片段中順次相接的第一數目音頻子片段均被判定為音樂子片段，將所述順次相接的第一數目音頻子片段的組合判定為所述音樂片段的至少部分；

所述舞蹈片段識別方法還包括：

使用第一音樂識別模型提取所述多個音頻子片段中至少部分音頻子片段的每個音頻子片段的第一特征向量；

將所述多個音頻子片段中至少部分音頻子片段的每個音頻子片段切分為第二數目的音頻亞子片段，并使用第二音樂識別模型提取所述第二數目的音頻亞子片段的每個的第二特征向量；

拼接對應于同一個音頻子片段的所述第一特征向量和所述第二數目的第二特征向量，以獲取對應于所述同一個音頻子片段的拼接后的特征向量；以及

將所述對應于所述同一個音頻子片段的拼接后的特征向量提供給第三音樂識別模型，以使用所述第三音樂識別模型判定所述同一個音頻子片段是否為音樂子片段。

2.根據權利要求1所述的舞蹈片段識別方法，還包括：

提取所述多幀圖像中至少部分幀圖像中的骨骼信息；以及

基于所述至少部分幀圖像中的骨骼信息獲取所述至少部分幀圖像中具有舞蹈動作的圖像的幀數。

3.根據權利要求2所述的舞蹈片段識別方法，其中，所述基于所述至少部分幀圖像中的骨骼信息獲取所述至少部分幀圖像中具有舞蹈動作的圖像的幀數，包括：

響應于所述至少部分幀圖像中相鄰的兩幀圖像的腿部骨骼的變化幅度超過預定變動閾值，將所述相鄰的兩幀圖像中的至少一幀判定為具有舞蹈動作的圖像。

4.根據權利要求1所述的舞蹈片段識別方法，還包括：

獲取所述多幀圖像中至少部分幀圖像中包括站立人體的圖像的幀數；以及

將所述至少部分幀圖像中包括站立人體的圖像的幀數作為所述至少部分幀圖像中具有舞蹈動作的圖像的幀數。

5.根據權利要求1-4任一項所述的舞蹈片段識別方法，其中，所述多幀圖像的每幀圖像包括信息展示區域和對象視頻展示區域；以及

所述響應于所述多幀圖像中具有舞蹈動作的圖像的幀數大于所述第一預定閾值，將所述候選舞蹈片段判定為舞蹈片段，包括：

響應于所述多幀圖像中包括展示了舞蹈圖像的信息展示區域的圖像的幀數大于所述第一預定閾值，將所述候選舞蹈片段判定為舞蹈片段。

6.根據權利要求1-4任一項所述的舞蹈片段識別方法，還包括：

響應于所述多幀圖像中部分幀圖像中具有舞蹈動作的圖像的幀數大于所述第一預定閾值，停止對所述候選舞蹈片段的檢測。

7.根據權利要求1-4任一項所述的舞蹈片段識別方法，其中，所述第一數目為不小于三的整數。

8.根據權利要求7所述的舞蹈片段識別方法，其中，所述第一音樂識別模型為第一神經網絡，且被配置為輸出所述第一特征向量；

所述第二音樂識別模型為第二神經網絡，且被配置為輸出所述第二特征向量；以及

所述第三音樂識別模型被配置為接收所述拼接后的特征向量。

9.根據權利要求1所述的舞蹈片段識別方法，其中，所述第二特征向量的維度與所述第二數目的乘積等于所述第一特征向量的維度；以及

所述拼接后的特征向量的維度等于所述第一特征向量的維度的二倍。