[發明專利]基于多模態捕捉的快速動畫成片方法和系統

在審

• 申請號: 201810519308.5
• 申請日: 2018-05-28
• 公開（公告）號: CN108805966A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 苗鵬;余哲
• 申請（專利權）人: 上海大學
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/62
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明公開了一種基于多模態捕捉的快速動畫成片方法和系統，方法基于混合動作捕捉與表情捕捉，首先對對演員進行多模態捕捉；然后將多模數據融合處理；之后傳輸捕捉數據至動畫制作端；最后在動畫制作端將動作與表情數據復現至虛擬模型上實時錄制動畫成片。系統包括多模態捕捉模塊、數據融合處理模塊、數據傳輸模塊、內容制作模塊。應用本發明不僅可以減小動畫制作工作量、減小渲染制作周期，而且可以實時制作沉浸感更強的全景動畫，豐富了動畫制作形式。

技術領域

本發明涉及一種基于多模態捕捉的快速動畫成片方法和系統，屬于人機交互領域，尤其涉及動作捕捉、表情捕捉、數據傳輸與動畫制作領域。

背景技術

近些年來隨著制作技術的不斷革新，計算機動畫產業呈現蓬勃發展之勢，聚集了高額資本的同時形成了一個龐大的市場。優質動畫與動畫電影的不斷推出，不僅豐富了兒童青少年的娛樂生活，對成年人來說也有著廣泛巨大的吸引力。三維動畫制作逐步成為動畫產業的主流，帶來了前所未有的觀看體驗。傳統三維動畫制作主要利用“關鍵幀控制模型”方法，即制作人員在關鍵幀設置模型動畫，再通過計算機插值生成圖像序列，最后再渲染成片。由于涉及到不同身體結構、不同面部結構的三維模型的動作和表情的手動控制，這種動畫制作方法工作量很大，也需要專門的動畫軟件進行長時間的后期渲染，難以提高三維動畫制作的效率。傳統三維動畫也同樣只能提供平面視頻式動畫，觀眾的沉浸感不夠強烈。

動作捕捉，指記錄并處理表演者的動作在三維空間的運動狀況的技術，主要分為光學式與慣性式。光學式運動捕捉，一般是使用紅外對目標標記點所代表的剛體三維運動進行捕捉，捕捉精度高，但對場地光照以及標記點遮擋比較敏感，并且受相機分辨率影響對小目標的精細運動捕捉效果不佳；慣性式動作捕捉，通過在捕捉目標的重要節點佩戴集成加速度計，陀螺儀和磁力計等慣性傳感器設備，對使用環境的適應性高，但是由于累積誤差和測量噪聲等因素的影響，無法對多節點進行長時間的精確跟蹤。表情捕捉則是針對人臉面部運動進行捕捉記錄，再在三維空間中完成對面部表情的重建。

發明內容

針對現有技術存在的問題，本發明的目的在于提供一種基于多模態捕捉的快速動畫成片方法及系統，利用光學式、慣性式動作捕捉與表情捕捉結合的多模態捕捉，以克服當前動畫成片工作量大、渲染成片時間長、動畫沉浸感不夠強的問題。

為達到上述目的，本發明采用如下技術方案：

一種基于多模態捕捉的快速動畫成片方法，包括以下步驟：

101.對演員進行多模態捕捉；

102.將多模數據融合處理；

103.傳輸捕捉數據至動畫制作端；

104.在動畫制作端將動作與表情數據復現至虛擬模型上實時錄制成片。

在所述步驟101對演員進行多模態捕捉之前，進一步包括：對多模態捕捉模塊進行標定和校準，以減小捕捉誤差。

所述步驟101對演員進行多模態捕捉，包括通過光學式與慣性式捕捉單元對演員進行混合動作捕捉，對視野清晰的較大部位采用光學動捕，對易遮擋或者分辨率不夠的小部位使用慣性捕捉，并通過對無線相機對臉部進行表情捕捉。

所述步驟102將多模數據融合處理，包括將步驟101取得的光學式動捕數據、慣性式動捕數據、表情捕捉數據整合為統一的捕捉數據，計算表征演員特定身形、面部的特征參數。

在所述步驟103傳輸捕捉數據至動畫制作端之前，進一步包括：記錄所傳輸數據為離線數據，供之后重復利用。

所述步驟103傳輸捕捉數據至動畫制作段，傳輸接口采用C/S，即客戶機/服務器結構，實現兩端的網絡透明傳輸。

所述步驟104動畫制作端將動作與表情數據復現至虛擬模型上實時錄制成片的步驟或包括：