[發(fā)明專利]基于視覺圖像的動作捕捉方法及數(shù)字動畫制作方法

在審

• 申請?zhí)枺?/td>: 202011043833.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112215928A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 李鵬飛
• 申請（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)研究院
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 杭州九洲專利事務(wù)所有限公司 33101
• 代理人: 沈敏強(qiáng)

本發(fā)明涉及一種基于視覺圖像的動作捕捉方法及數(shù)字動畫制作方法。本發(fā)明的目的是提供一種基于視覺圖像的動作捕捉方法及數(shù)字動畫制作方法。本發(fā)明的技術(shù)方案是：一種基于視覺圖像的動作捕捉方法，其特征在于：獲取多角度相機(jī)同步采集的人體動作圖像；對不同角度人體動作圖像進(jìn)行分析得到圖像上的人體關(guān)節(jié)點(diǎn)坐標(biāo)；將不同角度人體關(guān)節(jié)坐標(biāo)融合計(jì)算得到3D關(guān)節(jié)點(diǎn)坐標(biāo)。本發(fā)明適用于計(jì)算機(jī)圖像處理領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于視覺圖像的動作捕捉方法及數(shù)字動畫制作方法。適用于計(jì)算機(jī)圖像處理領(lǐng)域。

背景技術(shù)

目前，現(xiàn)有的三維數(shù)字動畫制作主要依靠動捕設(shè)備對演員進(jìn)行動作捕捉，再對數(shù)字動畫人物模型進(jìn)行驅(qū)動，以達(dá)到相應(yīng)的表演效果。傳統(tǒng)的動捕系統(tǒng)需要演員穿戴有相應(yīng)傳感器(光學(xué)球、藍(lán)牙傳感器、慣性傳感器等)的設(shè)備，并且需要在相應(yīng)要求(無靜電、無金屬物、指定強(qiáng)度的光照等)的場地內(nèi)進(jìn)行表演，通過相應(yīng)設(shè)備獲取的數(shù)據(jù)由人工進(jìn)行后期合成并輸出到動畫人物模型上進(jìn)行表演。

由上可知，傳統(tǒng)的動捕系統(tǒng)具有設(shè)備昂貴，對演員約束性強(qiáng)、場地要求高、后期制作人工成本高等缺點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：針對上述存在的問題，提供一種基于視覺圖像的動作捕捉方法及數(shù)字動畫制作方法。

本發(fā)明所采用的技術(shù)方案是：一種基于視覺圖像的動作捕捉方法，其特征在于：

獲取多角度相機(jī)同步采集的人體動作圖像；

對不同角度人體動作圖像進(jìn)行分析得到圖像上的人體關(guān)節(jié)點(diǎn)坐標(biāo)；

將不同角度人體關(guān)節(jié)坐標(biāo)融合計(jì)算得到3D關(guān)節(jié)點(diǎn)坐標(biāo)。

將人體3D關(guān)節(jié)點(diǎn)坐標(biāo)結(jié)合人體運(yùn)動學(xué)規(guī)律對不同關(guān)節(jié)不同維度解算，得到人體的運(yùn)動參數(shù)。

所述對不同角度人體動作圖像進(jìn)行分析得到圖像上的人體關(guān)節(jié)點(diǎn)坐標(biāo)，包括：

通過深度學(xué)習(xí)算法計(jì)算得到相機(jī)o圖像上關(guān)節(jié)點(diǎn)i坐標(biāo)(x_oi,y_oi,s_oi)，其中x_oi表示為關(guān)節(jié)點(diǎn)i的水平像素坐標(biāo)，y_oi表示為關(guān)節(jié)點(diǎn)i的垂直像素坐標(biāo)，s_oi表示為關(guān)節(jié)點(diǎn)i的深度學(xué)習(xí)算法置信度；

人體動作圖像上關(guān)節(jié)點(diǎn)i被遮擋時，則其置信度s_oi為0；未被遮擋時，置信度s_oi會根據(jù)關(guān)節(jié)點(diǎn)i在圖中的具體位置判別，越靠近關(guān)節(jié)點(diǎn)中心時s_oi值越大，最大值為1；

圖像中關(guān)節(jié)點(diǎn)i的坐標(biāo)和其置信度由深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計(jì)算獲得，所用的訓(xùn)練數(shù)據(jù)是由人工標(biāo)定；人工判別關(guān)節(jié)點(diǎn)中心位置，根據(jù)人工對關(guān)節(jié)點(diǎn)中心位置的確定程度進(jìn)行標(biāo)定，最大值為1，越偏離關(guān)節(jié)中點(diǎn)心置信度越小，離開關(guān)節(jié)或關(guān)節(jié)被遮擋則置信度為0。

所述將不同角度人體關(guān)節(jié)坐標(biāo)融合計(jì)算得到3D關(guān)節(jié)點(diǎn)坐標(biāo)，包括：

通過相機(jī)本身內(nèi)部參數(shù)和相機(jī)本身所安裝的位置和角度得到空間點(diǎn)到相機(jī)像素坐標(biāo)投影矩陣M；

計(jì)算相機(jī)o圖像中關(guān)節(jié)點(diǎn)i的3D點(diǎn)位置得到(X_oi,Y_oi,Z_oi)＝M^-1*(x_oi,y_oi)；