[發明專利]基于情緒識別的模型驅動方法及設備

在審

• 申請號: 202210861312.6
• 申請日: 2022-07-20
• 公開（公告）號: CN115049016A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 劉帥;朱新升;楊智遠;吳連朋
• 申請（專利權）人: 聚好看科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/80;G06V40/16;G10L25/63
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 任嘉文

本申請涉及三維重建技術領域，提供一種基于情緒識別的模型驅動方法及設備，對獲取的目標對象的人臉圖像和語音數據進行了完整性判斷，當人臉圖像和語音數據只有一個數據完整時，基于完整的人臉圖像或語音數據進行情緒識別，從而解決由于面部遮擋或語音數據傳輸失敗，導致的面部情緒識別準確率較低或者無法識別出面部情緒的問題；當人臉圖像和語音數據兩個均完整時，基于完整的人臉圖像和語音數據進行情緒識別，提高情緒識別的準確性，進而用情緒識別得到的情緒參數優化參數化頭部模型的初始驅動參數，從而將面部情緒引入目標驅動參數中，使得基于目標驅動參數進行參數化頭部模型的重建和驅動時，能夠提高模型的真實感和重建精度。

技術領域

本申請涉及三維重建技術領域，提供一種基于情緒識別的模型驅動方法及設備。

背景技術

基于虛擬現實(Virtual Reality，VR)、增強現實(Augmented Reality，AR)技術的遠程三維通信系統中，人體三維重建是遠程三維通信的基礎，而頭部作為人體的主要關注點之一，因此，頭部重建是人體重建的重點。

目前，大多數頭部重建方法中，是基于自然狀態下面部動作的表達，并沒有考慮用戶情緒，無法精確的表達各種微表情乃至極端表情的效果，而頭部的重建精度，特別是表情效果在交互終端中的渲染呈現，直接影響了用戶的沉浸式感知和體驗。因此，將識別的面部情緒引入頭部模型的重建和驅動中是非常重要的。

發明內容

本申請提供一種基于情緒識別的模型驅動方法及設備，用于提高頭部模型中人臉部分的重建精度。

一方面，本申請提供一種基于情緒識別的模型驅動方法，包括：

獲取目標對象的人臉圖像和語音數據；

分別確定所述人臉圖像和所述語音數據是否完整；

若所述人臉圖像不完整，但所述語音數據完整，則對所述語音數據進行情緒識別，得到情緒參數；

若所述人臉圖像完整，但所述語音數據不完整，則對所述人臉圖像進行情緒識別，得到情緒參數；

若所述人臉圖像完整，且所述語音數據完整，則分別對所述人臉圖像和所述語音數據進行情緒識別，得到融合后的情緒參數；

根據情緒參數調整預先構建的所述目標對象對應的參數化頭部模型的初始驅動參數，得到目標驅動參數；

將所述目標驅動參數傳輸給渲染終端，以使所述渲染終端根據所述目標驅動參數，驅動所述參數化頭部模型。

另一方面，本申請提供一種重建設備，包括相機、麥克風，圖形工作站，所述圖形工作站包括處理器、存儲器和通信接口，所述通信接口、所述存儲器和所述處理器通過總線連接；

所述存儲器包括數據存儲單元和程序存儲單元，所述程序存儲單元存儲有計算機程序，所述處理器根據所述計算機程序，執行以下操作：

通過所述通信接口，獲取所述相機采集的目標對象的人臉圖像，以及所述麥克風采集的所述目標對象的語音數據，并將獲取的人臉圖像和語音數據存儲至所述數據存儲單元；

分別確定所述人臉圖像和所述語音數據是否完整；

若所述人臉圖像不完整，但所述語音數據完整，則對所述語音數據進行情緒識別，得到情緒參數；

若所述人臉圖像完整，但所述語音數據不完整，則對所述人臉圖像進行情緒識別，得到情緒參數；

若所述人臉圖像完整，且所述語音數據完整，則分別對所述人臉圖像和所述語音數據進行情緒識別，得到融合后的情緒參數；

根據情緒參數調整預先構建的所述目標對象對應的參數化頭部模型的初始驅動參數，得到目標驅動參數；