[發(fā)明專利]一種虛擬人物表情驅(qū)動方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711193716.8
• 申請日: 2017-11-24
• 公開（公告）號: CN107945255A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計）人: 劉福菊;樊乙;劉星辰;常江
• 申請（專利權(quán)）人: 北京德火新媒體技術(shù)有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N99/00
• 代理公司: 北京市領(lǐng)專知識產(chǎn)權(quán)代理有限公司11590
• 代理人: 林輝輪,王瑩瑩

技術(shù)領(lǐng)域

本發(fā)明虛擬動畫顯示技術(shù)領(lǐng)域，具體涉及一種虛擬人物表情驅(qū)動方法及系統(tǒng)，是一種在虛擬內(nèi)容中實時反映人物面部表情、神態(tài)、情緒、氣氛的技術(shù)，應(yīng)用于一切虛擬內(nèi)容中的表情生產(chǎn)。

背景技術(shù)

隨著虛擬內(nèi)容制作領(lǐng)域的技術(shù)成熟與市場對虛擬內(nèi)容載體的逐步接受，市場迫切需要內(nèi)容生產(chǎn)領(lǐng)域的高效和低成本的動畫/表情生產(chǎn)方式。傳統(tǒng)的動畫師使用傳統(tǒng)手工方法制作表情動畫的效率已經(jīng)無法滿足現(xiàn)有非電影行業(yè)的內(nèi)容制作效率需求；與此同時，旅游、廣電、游戲以及虛擬等行業(yè)對于實時互動的需求逐漸增加。因此，如何快速、高效且準確地制作面部表情動畫，在行業(yè)應(yīng)用中的重要性日漸突顯。

目前傳統(tǒng)方法制作的表情動畫對動畫師的技術(shù)水準要求較高，所以并不是所有的動畫師都能夠快速地制作出準確自然的面部表情；此外，傳統(tǒng)方法制作周期長、耗時耗力且成本奇高，無法滿足市場需求；更重要的是，傳統(tǒng)的制作方法完全不能應(yīng)用于實時互動的環(huán)境，這就給節(jié)目/演出的創(chuàng)意發(fā)揮帶來了局限性。

本發(fā)明在研發(fā)過程中涉及到圖形圖像學、數(shù)學算法、紅外圖像捕捉、光學圖像捕捉、三維引擎、實時渲染和面部心理學等眾多領(lǐng)域，并實現(xiàn)了跨平臺使用。系統(tǒng)可以滿足影視制作、動畫電影制作、廣播電視領(lǐng)域中的高效且低成本的面部表情制作的需求。不僅如此，在游戲領(lǐng)域與娛樂互動領(lǐng)域中，也可滿足行業(yè)在面部表情實時性上的應(yīng)用需求。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供了一種虛擬人物表情驅(qū)動方法，該方法包括以下步驟：

(1)采集人類面部表情的色彩信息和深度信息；

(2)合成所述人類面部表情深度與色彩信息，并提取關(guān)鍵信息節(jié)點；

(3)將所述關(guān)鍵信息節(jié)點與之前學習的人類面部表情模板進行分析對比，以將實際人類面部表情數(shù)字化為一個權(quán)重數(shù)值，并傳輸至中間件；

(4)中間件對所述權(quán)重數(shù)值進行標準化處理，并進行優(yōu)化處理降低數(shù)據(jù)傳輸延時，輸出至相應(yīng)引擎端口；

(5)通過經(jīng)過處理的權(quán)重數(shù)據(jù)驅(qū)動虛擬人物表情變化。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述關(guān)鍵信息節(jié)點包括但不限于嘴角、鼻尖的人類面部表情特征點，根據(jù)關(guān)鍵信息節(jié)點通過空間拓撲關(guān)系可以鑒別人類面部表情。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述步驟(3)之前，采用人工智能的機器學習方式學習人類面部表情內(nèi)容得到人類面部表情模板并存儲于云端存儲器以便后續(xù)調(diào)用。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述采用人工智能的機器學習方式學習人類面部表情內(nèi)容得到人類面部表情模板是指：根據(jù)采集的人類面部表情深度信息，捕捉人臉的特征點，并且和訓練集中的表情特征集比較，得到人臉所有變形組織的變形度量，并且結(jié)合時間，形成表情關(guān)鍵幀，該表情關(guān)鍵幀的組合用于在另一個模型上復(fù)現(xiàn)人臉表情。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述權(quán)重數(shù)值是指人類高級肌肉表情動畫在0-1區(qū)間，展示不同人類面部表情的動畫狀態(tài)值。

為解決上述技術(shù)問題，本發(fā)明提供了一種虛擬人物表情驅(qū)動系統(tǒng)，該系統(tǒng)包括：色彩攝像機、深度攝像機、關(guān)鍵信息節(jié)點提取模塊、表情對比分析模塊、中間件模塊、引擎驅(qū)動模塊；

所述色彩攝像機采集人類面部表情的色彩信息；

所述深度攝像機采集人類面部表情的深度信息；

所述關(guān)鍵信息節(jié)點提取模塊合成所述人類面部表情深度與色彩信息，并提取關(guān)鍵信息節(jié)點；

表情對比分析模塊將所述關(guān)鍵信息節(jié)點與之前學習的人類面部表情模板進行分析對比，以將實際人類面部表情數(shù)字化為一個權(quán)重數(shù)值，并傳輸至中間件模塊；

所述中間件模塊對所述權(quán)重數(shù)值進行標準化處理，并進行優(yōu)化處理降低數(shù)據(jù)傳輸延時，輸出至相應(yīng)引擎端口；

引擎驅(qū)動模塊將經(jīng)過處理的權(quán)重數(shù)據(jù)驅(qū)動虛擬人物表情變化。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述關(guān)鍵信息節(jié)點包括但不限于嘴角，鼻尖的人類面部表情特征點，根據(jù)關(guān)鍵信息節(jié)點通過空間拓撲關(guān)系可以鑒別人類面部表情。

根據(jù)本發(fā)明的實施例，優(yōu)選的，該系統(tǒng)還包括：人臉表情深度學習訓練模塊、云端存儲器，所述人臉表情深度學習訓練模塊采用人工智能的機器學習方式學習人類面部表情內(nèi)容得到人類面部表情模板并存儲于云端存儲器以便后續(xù)調(diào)用。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述人臉表情深度學習訓練模塊根據(jù)采集的人類面部表情深度信息，捕捉人臉的特征點，并且和訓練集中的表情特征集比較，得到人臉所有變形組織的變形度量，并且結(jié)合時間，形成表情關(guān)鍵幀，該表情關(guān)鍵幀的組合用于在另一個模型上復(fù)現(xiàn)人臉表情。

根據(jù)本發(fā)明的實施例，優(yōu)選的，所述人臉表情細分為72種；