[發明專利]基于體感相機Kinect的真實感動畫生成方法

有效

• 申請號: 201510341839.6
• 申請日: 2015-06-18
• 公開（公告）號: CN104915978B
• 公開（公告）日: 2018-04-03
• 發明（設計）人: 李坤;楊敬鈺;劉雷杰;宋曉林
• 申請（專利權）人: 天津大學
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 劉國威

技術領域

本發明屬于計算機視覺和計算機圖形學領域，特別涉及一種采用一臺Kinect體感相機生成真實感強的新動作視頻方法。

背景技術

長期以來，對于新動畫生成方法的研究一直都未停止過，它的解決方案方法也層出不窮。這些方法大體上分為三類，第一種方法最早利用骨架和模型渲染，對簡單場景進行模型重建運用計算機渲染得到新動畫視頻序列。但這種方法對于剛性的物體效果較好，但對于非剛性的物體無法形成真實感強的視頻序列。第二種方法利用物理建模的方法離線地合成少量高精度、高真實感的三維模型，之后以這些三維模型為樣本，合成各種人體運動下的，具有逼真幾何細節的三維模型。但這類方法對服裝結構的設定和材質參數的控制都非常有限，其生成運動對應的服裝結構和材質都無法與現實中某一特定服裝完全相符。第三種方法是基于Video Textures的方法，通過對現有的視頻序列集中的一些幀進行抽取和重組，最后生成新的視頻序列，這種方法對于簡單的場景可以形成效果較為真實的新動畫結果，但不能處理較為復雜的場景。馬克斯·普朗克計算機科學研究所(Feng Xu,Yebin Liu,Carsten Stoll,James Tompkin,Gaurav Bharaj,Qionghai Dai,Hans-Peter Seidel,Jan Kautz,Christian Theobalt.Video-based characters:creating new human performances from a multi-view video database.ACM Transactions on Graphics(TOG),2011,30(4):32.)通過采用多視角相機陣列進行數據采集，利用模型與視頻紋理生成真實感很強的新動畫視頻序列。但這種方案造價高，對實驗條件要求高，不利于產業化推廣。

體感相機Kinect(Zhengyou Zhang.Microsoft kinect sensor and its effect.MultiMedia,IEEE,2012,19(2):4-10.)的出現，使基于廉價設備實現真實感動畫成為可能。2010年11月Kinect由微軟上市，很快就成為了全世界電子消費的熱點。它能實時捕捉彩色信息、深度信息、骨架運動信息、語音信息等。而基于它的研究應用迅猛勃發。Tong等人(Tong J,Zhou J,Liu L,et al.Scanning 3D full human bodies using kinects.IEEE Transactions onVisualization and Computer Graphics,2012,18(4):643-650.)利用Kinect實現了對于人體的三維重建。等人(M,Martinek M,Greiner G,et al..Automatic reconstruction of personalized avatars from 3D face scans.Computer Animation and Virtual Worlds,2011,22(2‐3):195-202.)實現了基于Kinect的真實的人物面部模型重建。2014年，Kinect二代發布，比之前精度有了很大的提高?；贙inect v2.0可以進行更精確的模型重建，同時可以實時保存比較真實的1080p的彩色圖，及精度為1mm的深度圖，為基于Kinect v2.0的真實感動畫生成提供了良好的數據基礎。

發明內容

為克服現有技術的不足，實現既能保證生成新視頻序列的逼真可信，又能解決實驗設備要求高的難點的方法。為此，本發明采取的技術方案是，基于體感相機Kinect的真實感動畫生成方法，利用單個Kinect v2.0對人物進行靜態三維模型和彩色深度骨架信息的采集。利用無標記運動捕捉方法，得到每幀的骨架運動信息和變形后的三維模型。用戶指定一個新動作后，基于所建立的數據集，通過所提出的基于稀疏表示的低秩矩陣填充的紋理合成方法生成該人物做新動作的視頻；具體包括以下步驟：

1)基于Kinect Fusion的方法對人物進行靜態的三維模型的重建，并在這個模型即參考姿態模型的基礎上，手動嵌入骨架；