[發(fā)明專利]基于深度學(xué)習(xí)的實(shí)時(shí)動(dòng)作捕捉和三維動(dòng)畫生成方法與裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911206474.0
• 申請(qǐng)日: 2019-11-29
• 公開（公告）號(hào): CN110992454B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 楊帆;潘鑫淼;郝強(qiáng);白立群;胡建國
• 申請(qǐng)（專利權(quán)）人: 南京甄視智能科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京行高知識(shí)產(chǎn)權(quán)代理有限公司 32404
• 代理人: 王培松

本發(fā)明提供一種基于深度學(xué)習(xí)的實(shí)時(shí)動(dòng)作捕捉和三維動(dòng)畫生成方法與裝置，包括：接收人體動(dòng)作視頻幀；對(duì)人體動(dòng)作視頻幀進(jìn)行插值處理；通過三維人體關(guān)鍵點(diǎn)檢測模型進(jìn)行檢測，預(yù)測出人體的25個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo)；基于劃分的層級(jí)進(jìn)行動(dòng)作分解，將關(guān)鍵點(diǎn)的三維坐標(biāo)轉(zhuǎn)換為骨骼繞關(guān)鍵點(diǎn)的旋轉(zhuǎn)四元數(shù)；三維動(dòng)畫模型生成；使用旋轉(zhuǎn)四元數(shù)驅(qū)動(dòng)三維動(dòng)畫模型；對(duì)人體動(dòng)作視頻幀序列按照前述方式重復(fù)處理，以設(shè)定的幀率將動(dòng)畫圖片連接起來，輸出與人體動(dòng)作同步的三維動(dòng)畫視頻。本發(fā)明的方法只需可見光攝像頭結(jié)合深度學(xué)習(xí)模型即可實(shí)時(shí)預(yù)測人體動(dòng)作并驅(qū)動(dòng)三維模型，成本低、實(shí)時(shí)性好。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，具體而言涉及一種基于深度學(xué)習(xí)的實(shí)時(shí)動(dòng)作捕捉和三維動(dòng)畫生成方案。

背景技術(shù)

現(xiàn)有技術(shù)的三維動(dòng)畫制作過程中往往先對(duì)演員的動(dòng)作進(jìn)行捕捉，再驅(qū)動(dòng)三維動(dòng)畫模型做出相應(yīng)動(dòng)作，以達(dá)到逼真自然的效果。傳統(tǒng)的方法需要演員穿戴裝有傳感器的設(shè)備，再將獲取的動(dòng)作信息渲染到三維動(dòng)畫模型并輸出三維動(dòng)畫。這種人體動(dòng)作驅(qū)動(dòng)三維模型的方法存在兩方面弊端，其一是動(dòng)作捕捉設(shè)備不僅價(jià)格高昂、操作復(fù)雜，還會(huì)由于穿戴不適影響演員的表演，且設(shè)備的安裝與使用受到場地的制約；其二是捕捉到的動(dòng)作數(shù)據(jù)需專業(yè)人員通過專業(yè)軟件進(jìn)行后期渲染合成動(dòng)畫，工序繁瑣耗時(shí)、人工成本較高，無法做到實(shí)時(shí)輸出。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種使用可見光攝像頭結(jié)合深度學(xué)習(xí)模型實(shí)時(shí)預(yù)測人體動(dòng)作并驅(qū)動(dòng)三維模型的方法。

為實(shí)現(xiàn)上述目的，本發(fā)明所使用的技術(shù)方案如下：

基于深度學(xué)習(xí)的實(shí)時(shí)動(dòng)作捕捉和三維動(dòng)畫生成方法，包括：

接收通過可見光攝像裝置獲取的人體動(dòng)作視頻幀；

對(duì)人體動(dòng)作視頻幀進(jìn)行插值處理；

通過三維人體關(guān)鍵點(diǎn)檢測模型對(duì)插值處理后的視頻幀進(jìn)行檢測，預(yù)測出人體的25個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo)；

根據(jù)預(yù)設(shè)規(guī)則將關(guān)鍵點(diǎn)進(jìn)行前后層級(jí)劃分，并基于層級(jí)進(jìn)行人體動(dòng)作分解，將關(guān)鍵點(diǎn)的三維坐標(biāo)轉(zhuǎn)換為骨骼繞關(guān)鍵點(diǎn)的旋轉(zhuǎn)四元數(shù)；

三維動(dòng)畫模型生成，包括建立動(dòng)畫角色的骨骼蒙皮模型；

使用前述的旋轉(zhuǎn)四元數(shù)驅(qū)動(dòng)三維動(dòng)畫模型；

對(duì)人體動(dòng)作視頻幀序列按照前述方式重復(fù)處理，以設(shè)定的幀率將動(dòng)畫圖片連接起來，輸出與人體動(dòng)作同步的三維動(dòng)畫視頻。

優(yōu)選地，所述的人體動(dòng)作視頻幀的插值處理包括：

對(duì)獲取的人體動(dòng)作視頻幀使用雙線性插值算法，使其放縮到符合三維人體關(guān)鍵點(diǎn)檢測模型的像素值。

優(yōu)選地，所述的三維人體關(guān)鍵點(diǎn)檢測模型為基于深度卷積神經(jīng)網(wǎng)絡(luò)的三維人體關(guān)鍵點(diǎn)檢測模型，其通過標(biāo)記三維關(guān)鍵點(diǎn)坐標(biāo)的人體圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，其中：

人體圖像數(shù)據(jù)集為[I_n，(x_n1，y_n1，z_n1，x_n2，y_n2，z_n2，...，x_n25，y_n25，z_n25)]，其中I_n為第n幅包含人體的圖像；(x_nm，y_nm，z_nm)(m＝1，2，...，25)為第n幅圖的人體第m個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo)；n＝1，2，...，N，N為總數(shù)據(jù)量；

通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，使用的損失函數(shù)為：其中是指模型對(duì)某一批次數(shù)據(jù)的第b個(gè)訓(xùn)練樣本I_b預(yù)測的第m個(gè)關(guān)鍵點(diǎn)的三維坐標(biāo)，B為批次大小。

優(yōu)選地，所述的前后層級(jí)劃分的操作具體包括：