[發明專利]基于視覺的舞譜生成方法、裝置、設備及存儲介質

有效

• 申請號: 201810880336.X
• 申請日: 2018-08-03
• 公開（公告）號: CN109255295B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 李照虎
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06T7/246
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊澤;劉芳

1.一種基于視覺的舞譜生成方法，其特征在于，包括：

接收多個深度攝像裝置發送的舞者完成目標舞蹈的視頻數據，所述視頻數據為所述多個深度攝像裝置在舞者完成所述目標舞蹈過程中所采集的帶有深度信息的視頻數據；

根據所述視頻數據，得到目標舞者在完成所述目標舞蹈過程中的三維人體運動軌跡；所述三維人體運動軌跡包括多個時刻下人體表面特征點的三維坐標；

獲取在所述目標舞蹈的每個最小節奏單位內的多個不同的目標時刻、所述人體表面特征點的三維坐標；

根據所述三維人體運動軌跡中人體表面特征點的三維坐標的數量，計算在所述多個不同的目標時刻所述人體表面特征點的三維坐標的均值坐標；所述人體表面特征點的均值坐標構成所述最小節奏單位內所述舞者的肢體形態；

根據舞譜符號對應的肢體形態信息，確定所述目標舞蹈的每個最小節奏單位內所述目標舞者的肢體形態對應的舞譜符號，生成所述目標舞蹈對應的舞譜。

2.根據權利要求1所述的方法，其特征在于，所述多個深度攝像裝置的拍攝角度均不相同，兩個相鄰的所述深度攝像裝置所拍攝的圖像部分重疊。

3.根據權利要求2所述的方法，其特征在于，所述根據所述視頻數據，得到所述舞者在完成所述目標舞蹈過程中的三維人體運動軌跡，包括：

從多個不同角度拍攝的所述視頻數據中，獲取同一時刻的多個圖像幀；

提取所述多個圖像幀中的人體表面特征點，所述人體表面特征點在該時刻出現在至少兩個相鄰角度的所述圖像幀中；

根據每個所述人體表面特征點在該時刻出現在的至少兩個相鄰角度的所述圖像幀，計算所述人體表面特征點在該時刻的三維坐標。

4.一種基于視覺的舞譜生成裝置，其特征在于，包括：

數據獲取模塊，用于接收多個深度攝像裝置發送的舞者完成目標舞蹈的視頻數據，所述視頻數據為所述多個深度攝像裝置在舞者完成所述目標舞蹈過程中所采集的帶有深度信息的視頻數據；

處理模塊，用于根據所述視頻數據，得到目標舞者在完成所述目標舞蹈過程中的三維人體運動軌跡；所述三維人體運動軌跡包括多個時刻下人體表面特征點的三維坐標；獲取在最小節奏單位內的多個不同的目標時刻、所述人體表面特征點的三維坐標；根據所述三維人體運動軌跡中人體表面特征點的三維坐標的數量，計算在所述多個不同的目標時刻所述人體表面特征點的三維坐標的均值坐標；所述人體表面特征點的均值坐標構成所述最小節奏單位內所述舞者的肢體形態；

舞譜生成模塊，用于根據舞譜符號對應的肢體形態信息，確定所述目標舞蹈的每個最小節奏單位內所述目標舞者的肢體形態對應的舞譜符號，生成所述目標舞蹈對應的舞譜。

5.根據權利要求4所述的裝置，其特征在于，

所述多個深度攝像裝置的拍攝角度均不相同，兩個相鄰的所述深度攝像裝置所拍攝的圖像部分重疊。

6.根據權利要求5所述的裝置，其特征在于，所述處理模塊還用于：

從多個不同角度拍攝的所述視頻數據中，獲取同一時刻的多個圖像幀；

提取所述多個圖像幀中的人體表面特征點，所述人體表面特征點在該時刻出現在至少兩個相鄰角度的所述圖像幀中；

根據每個所述人體表面特征點在該時刻出現在的至少兩個相鄰角度的所述圖像幀，計算所述人體表面特征點在該時刻的三維坐標。

7.一種舞譜生成設備，其特征在于，包括：

存儲器，處理器，以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，

所述處理器運行所述計算機程序時實現如權利要求1-3中任一項所述的方法。

8.一種舞譜生成系統設備，其特征在于，包括：

多個攝像裝置，用于在舞者完成所述目標舞蹈過程中采集舞者完成目標舞蹈的視頻數據，所述多個攝像裝置的拍攝角度均不相同，兩個相鄰的所述攝像裝置所拍攝的圖像部分重疊；

存儲器，處理器，以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，

所述處理器運行所述計算機程序時實現如權利要求1-3中任一項所述的方法。

9.一種計算機可讀存儲介質，其特征在于，存儲有計算機程序，

所述計算機程序被處理器執行時實現如權利要求1-3中任一項所述的方法。