[發(fā)明專利]基于深度學習的實時動作捕捉和三維動畫生成方法與裝置

有效

• 申請?zhí)枺?/td>: 201911206474.0
• 申請日: 2019-11-29
• 公開（公告）號: CN110992454B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設計）人: 楊帆;潘鑫淼;郝強;白立群;胡建國
• 申請（專利權）人: 南京甄視智能科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京行高知識產(chǎn)權代理有限公司 32404
• 代理人: 王培松

1.一種基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，包括：

接收通過可見光攝像裝置獲取的人體動作視頻幀；

對人體動作視頻幀進行插值處理；

通過三維人體關鍵點檢測模型對插值處理后的視頻幀進行檢測，預測出人體的25個關鍵點的三維坐標；

根據(jù)預設規(guī)則將關鍵點進行前后層級劃分，并基于層級進行人體動作分解，將關鍵點的三維坐標轉換為骨骼繞關鍵點的旋轉四元數(shù)；

三維動畫模型生成，包括建立動畫角色的骨骼蒙皮模型；

使用前述的旋轉四元數(shù)驅(qū)動三維動畫模型；

對人體動作視頻幀序列按照前述方式重復處理，以設定的幀率將動畫圖片連接起來，輸出與人體動作同步的三維動畫視頻；

其中，所述的前后層級劃分的操作具體包括：

將25個人體關鍵點劃分層級，其中從上到下表示關鍵點的前后層級；

其中25個人體關鍵點分別包括：

脊柱底，作為根關鍵點并據(jù)此劃分的三個分支

第一分支：左髖、左膝、左踝與左腳；

第二分支：右髖、右膝、右踝與右腳；

第三分支：脊柱中、脊柱頂；

其第三分支具有以脊柱頂為根關鍵點劃分的第一子分支、第二子分支以及第三子分支：

第一子分支：頸與頭；

第二子分支：左肩、左肘、左腕、左手與左拇指，以及左指尖；

第三子分支：右肩、右肘、右腕、右手與右拇指，以及右指尖。

2.根據(jù)權利要求1所述的基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，所述的人體動作視頻幀的插值處理包括：

對獲取的人體動作視頻幀使用雙線性插值算法，使其放縮到符合三維人體關鍵點檢測模型的像素值。

3.根據(jù)權利要求1所述的基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，所述的三維人體關鍵點檢測模型為基于深度卷積神經(jīng)網(wǎng)絡的三維人體關鍵點檢測模型，其通過標記三維關鍵點坐標的人體圖像數(shù)據(jù)集進行訓練，其中：

人體圖像數(shù)據(jù)集為，其中為第幅包含人體的圖像；為第幅圖的人體第個關鍵點的三維坐標；，，為總數(shù)據(jù)量；

通過深度卷積神經(jīng)網(wǎng)絡進行訓練的過程中，使用的損失函數(shù)為：，其中是指模型對某一批次數(shù)據(jù)的第個訓練樣本預測的第個關鍵點的三維坐標，為批次大小。

4.根據(jù)權利要求1所述的基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，所述的人體動作分解的操作包括：

固定與各骨骼相連的前一層級關鍵點，骨骼依次繞xyz軸從骨骼基準狀態(tài)各旋轉某一角度，其中骨骼基準狀態(tài)是指前一層級關鍵點到骨骼的方向為y軸方向。

5.根據(jù)權利要求4所述的基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，對于任意一骨骼，骨骼繞與之相連的前一層級關鍵點旋轉的角度由關鍵點與后兩個層級關鍵點和坐標處理得到，計算方式為：

骨骼的前方向向量：

骨骼的上方向向量：

骨骼的右方向向量：

再求解骨骼旋轉角，具體包括：

對三個方向向量進行歸一化：、、

其中，為歸一化的前方向向量，為歸一化的上方向向量，為歸一化的右方向向量，則旋轉矩陣為，將旋轉矩陣轉化為旋轉四元數(shù)；

每個骨骼旋轉是在前一層級骨骼旋轉基礎上進行的，設骨骼前一層級骨骼繞其前一層級關鍵點的旋轉四元數(shù)為，則在前一層級骨骼旋轉基礎上，骨骼繞關鍵點的相對旋轉四元數(shù)為，若某骨骼前一層級關鍵點為脊柱底根關鍵點，則相對旋轉四元數(shù)為絕對四元數(shù)。

6.根據(jù)權利要求5所述的基于深度學習的實時動作捕捉和三維動畫生成方法，其特征在于，使用旋轉四元數(shù)驅(qū)動三維動畫模型的操作包括：

根據(jù)檢測輸出的人體的脊柱底根關鍵點確定動畫模型的當前位置；

根據(jù)關鍵點計算得到的各骨骼的相對旋轉四元數(shù)，從脊柱底根關鍵點開始，使用FK前向動力學方式驅(qū)動動畫模型的各個骨骼繞關節(jié)旋轉，再利用LBS線性混合蒙皮實現(xiàn)骨骼控制蒙皮變形，渲染姿勢進行更新人體動畫模型，得到一幀動畫圖像。