[發(fā)明專利]一種基于人工智能獲取RGB視頻中3D表情的算法

在審

• 申請?zhí)枺?/td>: 202010215726.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111460945A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 高立艷;何書廉;陸曉飛;徐陽;劉燁斌;方浩樹
• 申請（專利權(quán)）人: 億勻智行（深圳）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于人工智能獲取RGB視頻中3D表情的算法，包括以下步驟：S1、服務器端接收包含人臉的RGB視頻信息；S2、從視頻中計算出人臉的位置；S3、從視頻中計算出人臉特征點檢測；S4、對人臉信息進行數(shù)據(jù)標準化；S5、提取人臉信息的特征數(shù)據(jù)；S6、將特征數(shù)據(jù)輸入到本地存儲的深度學習模型；S7、深度學習模型計算出Blend Shape數(shù)值；S8、對輸出的出Blend Shape數(shù)值進行自動優(yōu)化。本發(fā)明的優(yōu)點在于：無需過多硬件設備、可輸出詳細的Blend Shape數(shù)值、可應用于3D動畫制作。

技術(shù)領(lǐng)域

本發(fā)明涉及表情識別領(lǐng)域，具體是指一種基于人工智能獲取RGB視頻中3D表情的算法。

背景技術(shù)

隨著科技的進步，以深度學習為基礎的視頻分析技術(shù)發(fā)展迅速，如：姿態(tài)估計，動作跟蹤, 人臉特征點檢測等，大量重要訊息都可從視頻及圖像中以計算器視覺算法抽取出來。

對于從視頻中對面部表情進行識別，現(xiàn)在的技術(shù)一般只輸出簡陋的信息，如：喜、怒、哀、樂等，作面部表情的標簽，或是綁定在某一品牌智能手機的 API 開發(fā)軟件上，如：蘋果手機的ARKit。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是，針對上述問題，提出一種無需過多硬件設備、可輸出詳細的Blend Shape 數(shù)值、可應用于3D動畫制作的基于人工智能獲取RGB視頻中3D表情的算法。

為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案為：一種基于人工智能獲取RGB視頻中3D表情的算法，包括以下步驟：

一種基于人工智能獲取RGB視頻中3D表情的算法，包括以下步驟：

S1、用戶經(jīng)網(wǎng)絡接口上傳視頻到服務器，服務器端接收包含人臉的RGB視頻信息；

S2、從視頻中取出每一幀并以圖像格式作暫存，并把每一張圖片輸入 DLib 的人臉關(guān)鍵點偵測系統(tǒng)以取得關(guān)鍵點的 X 及 Y 坐標；

S3、基于取得的關(guān)鍵點坐標抽取人臉特征，以人臉不同部份區(qū)分特征點群；

S4、對每一個特征點群進行數(shù)據(jù)標準化，以 P = {p1, p2, ..., pn} 為所有(n個)特征點為例，標準化的特征點群P’計算公式為:

Q = P / (max(P) – min(P))

P’= Q - mean(Q)；

S5、提取人臉信息的特征數(shù)據(jù)，已標準化的特征點群將成為不同的特征數(shù)據(jù)；

S6、將特征數(shù)據(jù)輸入到本地存儲的深度學習模型；

S7、深度學習模型計算出Blend Shape數(shù)值，以特征數(shù)據(jù) P’作輸入并計算出BlendShape數(shù)值bs，公式為：

bs = P’ * M + b

其中 M 及 b 將從深度學習訓練過程中求取；

S8、對輸出的出Blend Shape數(shù)值進行自動優(yōu)化。

進一步的，所述S1中服務器接收的人臉信息為用戶選擇的人臉信息。

進一步的，所述S3中的特征點群包括左眼眉、右眼眉、左眼、右眼、鼻子及嘴巴。

進一步的，所述S7中深度學習模型利用多層神經(jīng)網(wǎng)絡，在訓練數(shù)據(jù)中學習人臉信息的特征數(shù)據(jù)與Blend Shape數(shù)值的相關(guān)性。