[發(fā)明專利]一種基于人工智能獲取RGB視頻中3D表情的算法

在審

• 申請?zhí)枺?/td>: 202010215726.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111460945A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 高立艷;何書廉;陸曉飛;徐陽;劉燁斌;方浩樹
• 申請（專利權(quán)）人: 億勻智行（深圳）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于人工智能獲取RGB視頻中3D表情的算法，其特征在于，包括以下步驟：

S1、用戶經(jīng)網(wǎng)絡(luò)接口上傳視頻到服務(wù)器，服務(wù)器端接收包含人臉的RGB視頻信息；

S2、從視頻中取出每一幀并以圖像格式作暫存，并把每一張圖片輸入 DLib 的人臉關(guān)鍵點偵測系統(tǒng)以取得關(guān)鍵點的 X 及 Y 坐標(biāo)；

S3、基于取得的關(guān)鍵點坐標(biāo)抽取人臉特征，以人臉不同部份區(qū)分特征點群；

S4、對每一個特征點群進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，以 P = {p1, p2, ..., pn} 為所有(n個)特征點為例，標(biāo)準(zhǔn)化的特征點群P’計算公式為:

Q = P / (max(P) – min(P))

P’= Q - mean(Q)；

S5、提取人臉信息的特征數(shù)據(jù)，已標(biāo)準(zhǔn)化的特征點群將成為不同的特征數(shù)據(jù)；

S6、將特征數(shù)據(jù)輸入到本地存儲的深度學(xué)習(xí)模型；

S7、深度學(xué)習(xí)模型計算出Blend Shape數(shù)值，以特征數(shù)據(jù) P’作輸入并計算出BlendShape數(shù)值bs，公式為：

bs = P’ * M + b

其中 M 及 b 將從深度學(xué)習(xí)訓(xùn)練過程中求取；

S8、對輸出的出Blend Shape數(shù)值進(jìn)行自動優(yōu)化。

2.根據(jù)權(quán)利要求1所述的一種基于人工智能獲取RGB視頻中3D表情的算法，其特征在于：所述S1中服務(wù)器接收的人臉信息為用戶選擇的人臉信息。

3.根據(jù)權(quán)利要求1所述的一種基于人工智能獲取RGB視頻中3D表情的算法，其特征在于：所述S3中的特征點群包括左眼眉、右眼眉、左眼、右眼、鼻子及嘴巴。

4.根據(jù)權(quán)利要求1所述的一種基于人工智能獲取RGB視頻中3D表情的算法，其特征在于：所述S7中深度學(xué)習(xí)模型利用多層神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)人臉信息的特征數(shù)據(jù)與Blend Shape數(shù)值的相關(guān)性。