[發明專利]一種個性化虛擬人像活化互動系統及方法有效
| 申請號： | 201911193278.4 | 申請日： | 2019-11-28 |
| 公開（公告）號： | CN111045582B | 公開（公告）日： | 2023-05-23 |
| 發明（設計）人： | 黃元忠;盧慶華;宋衛 | 申請（專利權）人： | 深圳市木愚科技有限公司 |
| 主分類號： | G06F3/01 | 分類號： | G06F3/01;G06F3/16;G06T13/40;G06V40/16 |
| 代理公司： | 北京華夏正合知識產權代理事務所(普通合伙) 11017 | 代理人： | 韓登營 |
| 地址： | 518052 廣東省深圳市南山區南頭*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 個性化 虛擬 人像 活化 互動 系統 方法 | ||
1.一種個性化虛擬人像活化互動系統，其特征在于，包括：
虛擬人像自動建模模塊，用于根據用戶選擇或上傳的照片構建出該照片中所含的人物的虛擬人像模型；
識別模塊，用于對用戶當前的語音和面部表情進行識別，并提取出用戶當前的語音信息和頭面部狀態信息；
語音合成模塊，用于根據所述用戶當前的語音信息和頭面部狀態信息，合成出虛擬人像用于應答互動的語音；
智能活化模塊，用于合成基于所述虛擬人像模型的視頻影像，并驅動所述視頻影像中的虛擬人像模型表達所述語音合成模塊合成的所述用于應答用戶的語音，以對用戶進行應答互動；
所述智能活化模塊用于驅動虛擬人像模型完成的應答互動，至少包括以下其一：根據語音內容按照發音口型說話、點頭、搖頭、頭部自然晃動、眨眼、皺眉、面部肌肉自然變化；
其中，所述虛擬人像模型的表情變化，至少包括以下其一：微笑，高興，悲傷，憂郁，生氣；
所述智能活化模塊對虛擬人物模型地頭部姿態的驅動控制由歐拉角參數{αyaw,βpitch,γroll}三維坐標偏向角度控制，則目標頭部姿態旋轉矩陣為：
對于人像模型Lmk(x,y,z)中任意一點P(x,y,z),P(x,y,z)∈Lmk(x,y,z),其新位置為：
其中，dx,dy,dz為三維平移方向向量，R(α,β,γ)表示目標頭部姿態在三維空間坐標下的旋轉矩陣；
其中，所述虛擬人像模型的表情變化，至少包括以下其一：微笑，高興，悲傷，憂郁，生氣；表情切換過度算法設計如下：
其中，Ev(x,y,z)是目標表情的特征點，v代表具體的表情類別，μ為系數，Dv表示當前臉部輪廓和目標表情的相關系數，e表示自然對數，具體為：
其中，Sv表示相關表情設計面部特征點的數量。
2.根據權利要求1所述的系統，其特征在于，還包括：可視化交互模塊，其用于：提供用于上傳或選擇照片的選項，以及提供用于為虛擬人像選擇聲音模型的選項。
3.根據權利要求2所述的系統，其特征在于，還包括：
聲音模型合成模塊，用于通過人工智能技術建模以生成不同類型的聲音模型。
4.根據權利要求3所述的系統，其特征在于，所述聲音模型的聲音素材來自真實授課教師的講話或者網絡素材；
其中，不同類型的聲音模型包含由不同的語音、語調和語氣構成的完整語句。
5.根據權利要求1所述的系統，其特征在于，所述照片為單張真人照片或者可為多人照片；其中，當所述照片為多人照片時，需確定虛擬建模人像為照片中的具體人物。
6.根據權利要求1所述的系統，其特征在于，所述虛擬人像自動建模模塊對照片中的人物進行三維人臉輪廓和紋理重建，將照片中人臉面部信息轉化為三維模型；并保留照片中人臉的面部細節信息和紋理顏色信息；
其中，所構建的虛擬人像模型保留的照片中人臉面部信息中特征，至少包括以下其一：
額頭，眼睛，鼻子，嘴巴，下巴，臉頰，胡須，眉毛，睫毛，眼球顏色，唇色，眼影，膚色以及面部局部皺紋。
7.根據權利要求1所述的系統，其特征在于，所述智能活化模塊驅動所述虛擬人像模型可同時完成兩個或2個以上的非沖突動作。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市木愚科技有限公司，未經深圳市木愚科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911193278.4/1.html，轉載請聲明來源鉆瓜專利網。
