[發(fā)明專利]動作補(bǔ)全模型的訓(xùn)練方法、裝置、補(bǔ)全方法、設(shè)備和介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110890084.0
• 申請日: 2021-08-04
• 公開（公告）號: CN113345061B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 何雨龍;唐浩
• 申請（專利權(quán)）人: 成都市諦視科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T19/20;G06T13/20;G06N3/04
• 代理公司: 成都市集智匯華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51237
• 代理人: 羅艷

1.一種動作補(bǔ)全模型的訓(xùn)練方法，其特征在于，包括：

S101：采集大量人體運(yùn)動的原始動作數(shù)據(jù)，并根據(jù)預(yù)設(shè)所有關(guān)節(jié)點(diǎn)對應(yīng)父節(jié)點(diǎn)列表和預(yù)設(shè)所有關(guān)節(jié)點(diǎn)相對于對應(yīng)父節(jié)點(diǎn)的標(biāo)準(zhǔn)骨骼偏移值列表進(jìn)行數(shù)據(jù)預(yù)處理，得到除第一幀以外每一幀的所有關(guān)節(jié)點(diǎn)的6D旋轉(zhuǎn)向量、所有關(guān)節(jié)點(diǎn)的速度向量、四維布爾向量和所有關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)作為數(shù)據(jù)集，將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，包括：獲取原始動作數(shù)據(jù)中每一幀的Hips關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)、所有關(guān)節(jié)點(diǎn)的歐拉角，將每一幀的所有關(guān)節(jié)點(diǎn)的歐拉角進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，得到每一幀的所有關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)矩陣；將每一幀的所有關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)矩陣保留前兩個列向量并將其壓縮為一個6維向量，得到每一幀的所有關(guān)節(jié)點(diǎn)的6D旋轉(zhuǎn)向量；根據(jù)每一幀的Hips關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)、每一幀的所有關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)矩陣、預(yù)設(shè)所有關(guān)節(jié)點(diǎn)對應(yīng)父節(jié)點(diǎn)列表、預(yù)設(shè)所有關(guān)節(jié)點(diǎn)相對于對應(yīng)父節(jié)點(diǎn)的標(biāo)準(zhǔn)骨骼偏移值列表，對每個關(guān)節(jié)點(diǎn)采用將關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)矩陣與其對應(yīng)的標(biāo)準(zhǔn)骨骼偏移值求積后再與其對應(yīng)的父節(jié)點(diǎn)的3D空間坐標(biāo)求和的結(jié)果作為該關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)的方法，計(jì)算得到每一幀的所有關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)；將除第一幀以外的每一幀的所有關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)減去該幀對應(yīng)的上一幀的所有關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)得到差值后再乘以動畫幀率，得到除第一幀以外的每一幀的所有關(guān)節(jié)點(diǎn)的速度向量；讀取除第一幀以外的每一幀的預(yù)設(shè)第一關(guān)節(jié)點(diǎn)、預(yù)設(shè)第二關(guān)節(jié)點(diǎn)、預(yù)設(shè)第三關(guān)節(jié)點(diǎn)和預(yù)設(shè)第四關(guān)節(jié)點(diǎn)的速度向量，分別判斷每個預(yù)設(shè)關(guān)節(jié)點(diǎn)的速度向量與預(yù)設(shè)速度向量的大小關(guān)系，生成預(yù)設(shè)第一關(guān)節(jié)點(diǎn)、預(yù)設(shè)第二關(guān)節(jié)點(diǎn)、預(yù)設(shè)第三關(guān)節(jié)點(diǎn)和預(yù)設(shè)第四關(guān)節(jié)點(diǎn)的速度判斷布爾值，將其拼接得到除第一幀以外的每一幀的第一布爾向量；讀取除第一幀以外的每一幀的預(yù)設(shè)第一關(guān)節(jié)點(diǎn)、預(yù)設(shè)第二關(guān)節(jié)點(diǎn)、預(yù)設(shè)第三關(guān)節(jié)點(diǎn)和預(yù)設(shè)第四關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)，分別判斷每個預(yù)設(shè)關(guān)節(jié)點(diǎn)的y坐標(biāo)值與預(yù)設(shè)長度值的大小關(guān)系，生成預(yù)設(shè)第一關(guān)節(jié)點(diǎn)、預(yù)設(shè)第二關(guān)節(jié)點(diǎn)、預(yù)設(shè)第三關(guān)節(jié)點(diǎn)和預(yù)設(shè)第四關(guān)節(jié)點(diǎn)的距離判斷布爾值，將其拼接得到除第一幀以外的每一幀的第二布爾向量；將除第一幀以外的每一幀的第一布爾向量和第二布爾向量進(jìn)行與運(yùn)算，得到除第一幀以外的每一幀的四維布爾向量，保存除第一幀以外的每一幀的所有關(guān)節(jié)點(diǎn)的6D旋轉(zhuǎn)向量、所有關(guān)節(jié)點(diǎn)的3D空間坐標(biāo)、所有關(guān)節(jié)點(diǎn)的速度向量和四維布爾向量作為數(shù)據(jù)集，其中劃分第一預(yù)設(shè)比例的數(shù)據(jù)集為訓(xùn)練集，劃分第二預(yù)設(shè)比例的數(shù)據(jù)集為測試集；

S102：建立動作補(bǔ)全模型，設(shè)置標(biāo)準(zhǔn)差值為預(yù)設(shè)標(biāo)準(zhǔn)差值，其中，所述動作補(bǔ)全模型包括第一映射子網(wǎng)絡(luò)E1、第二映射子網(wǎng)絡(luò)E2、第三映射子網(wǎng)絡(luò)E3、門控神經(jīng)網(wǎng)絡(luò)G和128個專家神經(jīng)網(wǎng)絡(luò)EPi，i=1,2,3,...128；

S103：從訓(xùn)練集中提取預(yù)設(shè)批次數(shù)量個動作數(shù)據(jù)批次作為動作補(bǔ)全模型的輸入數(shù)據(jù)，輸入動作補(bǔ)全模型得到動作補(bǔ)全模型的輸出結(jié)果，每個動作數(shù)據(jù)批次包括預(yù)設(shè)組數(shù)個動作序列組，每個動作序列組包括過去幀、目標(biāo)幀和S個過渡幀，其中S是預(yù)設(shè)采樣范圍值內(nèi)的預(yù)設(shè)組數(shù)個均勻采樣值；

S104：根據(jù)動作補(bǔ)全模型的輸入數(shù)據(jù)和輸出結(jié)果計(jì)算每個動作序列組中系統(tǒng)的總損失項(xiàng)，并根據(jù)系統(tǒng)的總損失項(xiàng)對動作補(bǔ)全模型進(jìn)行優(yōu)化，得到訓(xùn)練好的動作補(bǔ)全模型。

2.根據(jù)權(quán)利要求1所述的動作補(bǔ)全模型的訓(xùn)練方法，其特征在于，所述第一映射子網(wǎng)絡(luò)、所述第二映射子網(wǎng)絡(luò)和所述第三映射子網(wǎng)絡(luò)構(gòu)成了一個編碼系統(tǒng)，將動作狀態(tài)量編碼到768維的隱向量上，門控神經(jīng)網(wǎng)絡(luò)接收隱向量并做出決策，選擇不同的專家神經(jīng)網(wǎng)絡(luò)EPi以及對應(yīng)的權(quán)重做隱向量計(jì)算的加權(quán)融合，專家神經(jīng)網(wǎng)絡(luò)EPi對隱向量進(jìn)行計(jì)算得到下一幀的動作狀態(tài)增量。