[發明專利]一種實時全身動作捕捉的方法、裝置和系統

在審

• 申請號: 201710400134.6
• 申請日: 2017-05-31
• 公開（公告）號: CN107274466A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 宋佩穎;溫靖環;張海輝;尹訓宇;蘆振華
• 申請（專利權）人: 珠海金山網絡游戲科技有限公司;珠海西山居移動游戲科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/246
• 代理公司: 廣州嘉權專利商標事務所有限公司44205
• 代理人: 俞梁清

技術領域

本發明涉及動畫合成技術領域，尤其涉及一種實時全身動作捕捉的方法、裝置和系統。

背景技術

近年來，顯卡的性能得到了極大的發展，使用計算機顯卡進行實時渲染成為了可能，根據實時渲染的實時交互動畫，有著所見即所得的好處，而且觀眾將不再使單方面的觀看渲染好的動畫，而是可以實時和動畫進行交互。實時動畫在教育、游戲、影視、商業領域有著新的前景和需求。

發明內容

本發明通過提供一種實時全身動作捕捉的方法、裝置和系統，以彌補了上述需求方面的空白。

本發明采用的技術方案一方面為一種實時全身動作捕捉的方法，包括以下步驟：A、創建虛擬的3D角色，并導入至圖形引擎，生成角色模型；B、通過視頻和/或穿戴設備來實時捕捉真實的演員動作信息，然后關聯和控制所述角色模型；C、將所述角色模型合成至動畫場景，根據該動畫場景的環境參數為角色模型配置物理動力學參數，然后通過客戶端后臺的控制面板進行動畫場景控制；其中，所述動作信息包括肢體動作和/或面部表情。

進一步，其中所述步驟A包括：根據原畫資料，為所述虛擬的3D角色配置人設特性數據，人設特性數據包含職業信息、性格信息或人物背景特性，并且為所述角色模型配置貼圖、材質和3D動畫骨骼。

進一步，其中所述步驟A還包括：將所述角色模型及其匹配的3D動畫骨骼導入至所述圖形引擎中運算骨骼動畫。

進一步，其中所述步驟B包括：捕捉所述演員的肢體動作和/或面部表情，轉換為與所述3D角色的人設特性關聯的肢體動作數據、面部動作數據和角色混音數據，然后關聯至圖形引擎中的相應的角色模型，并且配置所述演員的肢體動作和/或面部表情與所述角色模型動畫的肢體動作和/或面部表情能夠實時同步。

進一步，其中所述步驟B還包括：提取所述演員的骨骼模型，然后導入至所述圖形引擎中，以匹配所述角色模型的3D動畫骨骼；根據該骨骼模型來實時捕捉和轉換演員的肢體動作數據，將實時捕捉的肢體動作數據生成動作控制指令，通過所述圖形引擎生成相應的角色模型的動作姿態；在角色模型的動作姿態之間運算生成肢體動畫。

進一步，其中所述步驟B還包括：提取所述演員的面部骨骼，然后導入至所述圖形引擎中，以匹配所述角色模型的面部骨骼蒙皮；根據該面部骨骼來實時捕捉和轉換演員的面部動作數據，將實時捕捉的面部動作數據生成面部表情控制指令，通過所述圖形引擎生成相應的角色模型的面部表情形狀；在角色模型相應面部位置的面部表情形狀之間運算生成面部表情動畫過渡。

進一步，其中所述步驟C包括：加入音樂，允許通過客戶端后臺的控制面板進行控制。

本發明技術方案的第二方面為一種實時全身動作捕捉的裝置，包括：第一模塊，用于創建虛擬的3D角色，并導入至圖形引擎，生成角色模型；第二模塊，用于通過視頻和/或穿戴設備來實時捕捉真實的演員動作信息，然后關聯和控制所述角色模型；第三模塊，將所述角色模型合成至動畫場景，根據該動畫場景的環境參數為角色模型配置物理動力學參數，然后通過客戶端后臺的控制面板進行動畫場景控制；其中，所述動作信息包括肢體動作和/或面部表情。

進一步，所述第一模塊還包括捕捉模塊，用于：捕捉所述演員的肢體動作和/或面部表情，轉換為與所述3D角色的人設特性關聯的肢體動作數據、面部動作數據和角色混音數據，然后關聯至圖形引擎中的相應的角色模型，并且配置所述演員的肢體動作和/或面部表情與所述角色模型動畫的肢體動作和/或面部表情能夠實時同步。

本發明技術方案的第三方面為一種實時全身動作捕捉的系統，包括：捕捉裝置，用于實時捕捉真實演員的肢體動作和/或面部表情；圖形引擎，用于生成和處理3D角色模型，運算3D角色模型的物理動力學動作，轉換動畫視頻輸出至視頻傳播軟件；以及應用程序。該應用程序用于執行以下步驟：創建虛擬的3D角色，并導入至圖形引擎，生成角色模型；實時捕捉真實的演員動作信息，然后關聯和控制所述角色模型；將所述角色模型合成至動畫場景，根據該動畫場景的環境參數為角色模型配置物理動力學參數，然后通過客戶端后臺的控制面板進行動畫場景控制。