[發明專利]基于情緒識別的模型驅動方法及設備

在審

• 申請號: 202210861312.6
• 申請日: 2022-07-20
• 公開（公告）號: CN115049016A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 劉帥;朱新升;楊智遠;吳連朋
• 申請（專利權）人: 聚好看科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/80;G06V40/16;G10L25/63
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 任嘉文

1.一種基于情緒識別的模型驅動方法，其特征在于，包括：

獲取目標對象的人臉圖像和語音數據；

分別確定所述人臉圖像和所述語音數據是否完整；

若所述人臉圖像不完整，但所述語音數據完整，則對所述語音數據進行情緒識別，得到情緒參數；

若所述人臉圖像完整，但所述語音數據不完整，則對所述人臉圖像進行情緒識別，得到情緒參數；

若所述人臉圖像完整，且所述語音數據完整，則分別對所述人臉圖像和所述語音數據進行情緒識別，得到融合后的情緒參數；

根據情緒參數調整預先構建的所述目標對象對應的參數化頭部模型的初始驅動參數，得到目標驅動參數；

將所述目標驅動參數傳輸給渲染終端，以使所述渲染終端根據所述目標驅動參數，驅動所述參數化頭部模型。

2.如權利要求1所述的方法，其特征在于，通過以下方式確定所述人臉圖像是否完整：

從所述人臉圖像中提取人臉特征點；

若所述人臉特征點的數量大于預設數量閾值，則確定所述人臉圖像完整；

若所述人臉特征點的數量小于等于所述預設數量閾值，則確定所述人臉圖像不完整。

3.如權利要求1所述的方法，其特征在于，通過以下方式確定所述語音數據是否完整：

確定所述語音數據的時長；

若所述時長大于設定時長閾值，則確定所述語音數據完整；

若所述時長小于等于所述設定時長閾值，則確定所述語音數據不完整。

4.如權利要求1所述的方法，其特征在于，分別對所述人臉圖像和所述語音數據進行情緒識別，得到融合后的情緒參數，包括：

從所述人臉圖像中提取第一子情緒參數，以及從所述語音數據中提取第二子情緒參數；

按照預設權重，對所述第一子情緒參數和所述第二子情緒參數進行加權，得到融合后的情緒參數。

5.如權利要求4所述的方法，其特征在于，所述從所述人臉圖像中提取第一子情緒參數，以及從所述語音數據中提取第二子情緒參數，包括：

從所述人臉圖像中提取圖像特征，并根據所述圖像特征進行情緒分類；

根據所述人臉圖像對應的各類情緒的特征向量，生成第一子情緒參數；

從所述語音數據中提取聲音特征，并根據所述聲音特征進行情緒分類；

根據所述語音數據對應的各類情緒的特征向量，生成第二子情緒參數。

6.如權利要求1所述的方法，其特征在于，得到所述目標驅動參數后，所述方法還包括：

對所述人臉圖像進行語義分割，得到頭部的各個組件；

從所述目標驅動參數中，選擇出與各個組件分別關聯的局部驅動參數；

所述將所述目標驅動參數傳輸給渲染終端，以使所述渲染終端根據所述目標驅動參數，驅動所述參數化頭部模型，包括：

將所述各個組件分別關聯的局部驅動參數傳輸給渲染終端，以使所述渲染終端根據所述各局部驅動參數，分別驅動所述目標對象對應的參數化頭部模型中的相應組件。

7.如權利要求1所述的方法，其特征在于，當所述人臉圖像為深度圖像時，所述方法還包括：

從所述深度圖像中提取所述目標對象頭部的幾何數據，并將所述幾何數據傳輸給所述渲染終端，以使所述渲染終端根據所述幾何數據校正所述參數化頭部模型。

8.如權利要求1-7中任一項所述的方法，其特征在于，所述目標驅動參數包括目標姿態參數和目標表情參數。