[發(fā)明專利]一種生成角色模型舞蹈動(dòng)畫的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011219104.3
• 申請(qǐng)日: 2020-11-04
• 公開（公告）號(hào): CN112330779A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 渠思源
• 申請(qǐng)（專利權(quán)）人: 北京慧夜科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06T13/20;G06N3/08
• 代理公司: 成都七星天知識(shí)產(chǎn)權(quán)代理有限公司 51253
• 代理人: 楊永梅

1.一種生成角色模型舞蹈動(dòng)畫的方法，所述方法由至少一個(gè)處理器執(zhí)行，所述方法包括：

獲取預(yù)定時(shí)長(zhǎng)的音樂(lè)數(shù)據(jù)，并從所述音樂(lè)數(shù)據(jù)中獲取預(yù)定格式的音頻特征數(shù)據(jù)；

使用訓(xùn)練好的舞蹈生成模型處理所述音頻特征數(shù)據(jù)，得到與所述音樂(lè)數(shù)據(jù)對(duì)應(yīng)的舞蹈動(dòng)作，以基于所述舞蹈動(dòng)作確定所述角色模型的舞蹈動(dòng)畫；其中，所述舞蹈動(dòng)作由所述角色模型的關(guān)節(jié)點(diǎn)的動(dòng)作參數(shù)表示，所述動(dòng)作參數(shù)至少包括：關(guān)節(jié)點(diǎn)的位置值與關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)值；

所述角色模型包括：人體模型；

其中：所述舞蹈生成模型包括音樂(lè)特征提取層和舞蹈動(dòng)作生成層，所述舞蹈動(dòng)作生成層用于基于所述音樂(lè)特征提取層輸出的音樂(lè)特征向量獲取與所述音樂(lè)數(shù)據(jù)對(duì)應(yīng)的舞蹈動(dòng)作。

2.據(jù)權(quán)利要求1所述的方法，其中，所述音樂(lè)特征提取層包括卷積神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述舞蹈動(dòng)作生成層包括圖神經(jīng)網(wǎng)絡(luò)，所述圖神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)與所述角色模型的多個(gè)關(guān)節(jié)點(diǎn)一一對(duì)應(yīng)，所述處理所述音樂(lè)特征向量包括：

分別將所述音樂(lè)特征向量與多個(gè)權(quán)重參數(shù)作加權(quán)運(yùn)算，得到所述圖神經(jīng)網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)的初始特征值；其中，所述多個(gè)權(quán)重參數(shù)的個(gè)數(shù)與所述圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)相同，所述多個(gè)權(quán)重參數(shù)中的每一個(gè)對(duì)應(yīng)于所述圖神經(jīng)網(wǎng)絡(luò)的一個(gè)節(jié)點(diǎn)；

對(duì)于所述圖神經(jīng)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)進(jìn)行至少一次加權(quán)操作，得到舞蹈動(dòng)作特征。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述舞蹈動(dòng)作生成層還包括全連接層，所述全連接層用于處理所述舞蹈動(dòng)作特征，生成所述音樂(lè)數(shù)據(jù)對(duì)應(yīng)的舞蹈動(dòng)作。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述獲取預(yù)定格式的音頻特征數(shù)據(jù)包括：

使用時(shí)頻域分析方法從所述音樂(lè)數(shù)據(jù)中提取時(shí)頻信號(hào)，并將所述時(shí)頻信號(hào)作為所述音頻特征數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述舞蹈生成模型通過(guò)以下方式獲得：

獲取訓(xùn)練得到的音樂(lè)特征提取層的參數(shù)；

獲取多個(gè)訓(xùn)練樣本，所述訓(xùn)練樣本包括從音樂(lè)數(shù)據(jù)中提取的音頻特征數(shù)據(jù)以及與所述音樂(lè)數(shù)據(jù)對(duì)應(yīng)的多個(gè)舞蹈動(dòng)作；

將所述音頻特征數(shù)據(jù)作為輸入數(shù)據(jù)；將所述多個(gè)舞蹈動(dòng)作作為標(biāo)簽；

基于所述音樂(lè)特征提取層的參數(shù)，利用輸入數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)簽訓(xùn)練舞蹈生成模型中的舞蹈動(dòng)作生成層，獲得訓(xùn)練好的舞蹈生成模型。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述獲取訓(xùn)練得到的音樂(lè)特征提取層的參數(shù)包括：

獲取多個(gè)訓(xùn)練樣本，所述訓(xùn)練樣本包括從音樂(lè)數(shù)據(jù)中提取的音頻特征數(shù)據(jù)以及所述音樂(lè)數(shù)據(jù)對(duì)應(yīng)的音樂(lè)類別；

將所述音頻特征數(shù)據(jù)作為輸入數(shù)據(jù)；將所述音樂(lè)類別作為標(biāo)簽；

利用輸入數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)簽訓(xùn)練音樂(lè)分類神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練好的音樂(lè)分類神經(jīng)網(wǎng)絡(luò)；其中，所述音樂(lè)分類神經(jīng)網(wǎng)絡(luò)包含特征提取層和全連接層，所述特征提取層與所述舞蹈生成模型中的音樂(lè)特征提取層結(jié)構(gòu)相同；

將所述特征提取層的參數(shù)作為所述音樂(lè)特征提取層的參數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述利用輸入數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)簽訓(xùn)練舞蹈生成模型中的舞蹈動(dòng)作生成層包括：

為所述舞蹈生成模型建立目標(biāo)函數(shù)；其中，所述舞蹈生成模型的目標(biāo)函數(shù)至少基于位置誤差、旋轉(zhuǎn)誤差以及相鄰舞蹈動(dòng)作之間的連貫性誤差確定；

所述位置誤差與所述舞蹈生成模型輸出的關(guān)節(jié)點(diǎn)的位置參數(shù)相關(guān)；

所述旋轉(zhuǎn)誤差與所述舞蹈生成模型輸出的關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)參數(shù)相關(guān)；

所述連貫性誤差與所述舞蹈生成模型輸出的相鄰舞蹈動(dòng)作之間的位置參數(shù)的差值和旋轉(zhuǎn)參數(shù)的差值相關(guān)；

調(diào)整所述舞蹈動(dòng)作生成層的參數(shù)，以使舞蹈生成模型的目標(biāo)函數(shù)滿足預(yù)設(shè)條件或者迭代次數(shù)達(dá)到預(yù)設(shè)閾值。