[發明專利]用戶形象生成方法、相關裝置及計算機程序產品

有效

• 申請號: 202011469031.3
• 申請日: 2020-12-15
• 公開（公告）號: CN112527115B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 楊新航;陳睿智
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T13/40;G06T13/20
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用戶形象生成方法，包括：

獲取用戶的形象模型和對應的表情驅動信息；

根據所述表情驅動信息驅動所述形象模型生成動態形象；

將所述動態形象作為語音直播時所述用戶的替代形象展示給其他用戶；

其中，獲取與用戶的形象模型對應的表情驅動信息，包括：在所述形象模型上確定目標采集區域；通過攝像頭采集所述用戶與所述目標采集區域對應的目標姿態信息；?根據所述目標姿態信息生成所述表情驅動信息；利用拾音器采集所述用戶的語音信息；根據所述語音信息確定語音內容；

其中，根據所述表情驅動信息驅動所述形象模型生成動態形象，包括：響應于所述表情驅動信息包括姿態驅動信息和語音驅動信息，分別確定所述姿態驅動信息和所述語音驅動信息對所述形象模型的第一驅動區域和第二驅動區域；按所述姿態驅動信息驅動所述第一驅動區域；按所述語音驅動信息驅動所述第二驅動區域，生成所述動態形象；以及響應于所述第一驅動區域和第二驅動區域部分重疊或完全重疊，采用質量評價的方式對目標姿態信息和語音信息對應的驅動效果進行預判，以確定基于目標姿態信息或語音信息生成的表情驅動信息中的更優者對重疊的部分進行驅動。

2.根據權利要求1所述的方法，其中，所述形象模型的生成步驟包括：

獲取所述用戶上傳的真實人臉圖像和所述用戶選定的目標三維形象模板；

融合所述真實人臉圖像和所述目標三維形象模板，生成所述形象模型。

3.根據權利要求2所述的方法，其中，所述用戶選定的目標三維形象模板的生成步驟包括：

獲取所述用戶選定的自定義三維形象模板；

根據所述用戶的自定義調整參數對所述自定義三維形象模板進行調整，生成所述目標三維形象模板；其中，所述自定義三維形象模板向所述用戶提供有可視化的細節調整面板。

4.根據權利要求1所述的方法，其中，所述根據所述語音內容和語音內容與表情動作的對應關系生成所述表情驅動信息包括：

通過循環神經網絡RNN產生與所述語音內容所對應的所述表情驅動信息；其中，所述RNN基于歷史數據中的樣本語音內容和與所述樣本語音內容對應樣本表情動作訓練得到。

5.一種用戶形象生成裝置，包括：

用戶形象獲取單元，被配置成獲取用戶的形象模型；

驅動信息獲取單元，被配置成獲取與所述形象模型對應的表情驅動信息；

動態形象生成單元，被配置成根據所述表情驅動信息驅動所述形象模型生成動態形象；

動態形象呈現單元，被配置成將所述動態形象作為語音直播時所述用戶的替代形象展示其他用戶；

其中，驅動信息獲取單元包括：

采集區域確定子單元，被配置成在所述形象模型上確定目標采集區域；

姿態信息采集子單元，被配置成通過攝像頭采集所述用戶與所述目標采集區域對應的目標姿態信息；

第一表情驅動信息生成子單元，被配置成根據所述目標姿態信息生成所述表情驅動信息

語音信息采集子單元，被配置成利用拾音器采集所述用戶的語音信息；

語音內容確定子單元，被配置成根據所述語音信息確定語音內容；

第二表情驅動信息生成子單元，被配置成根據所述語音內容和語音內容與表情動作的對應關系生成所述表情驅動信息；

所述動態形象生成單元包括：驅動區域劃分子單元，被配置成響應于所述表情驅動信息包括姿態驅動信息和語音驅動信息，分別確定所述姿態驅動信息和所述語音驅動信息對所述形象模型的第一驅動區域和第二驅動區域；第一區域驅動子單元，被配置成按所述姿態驅動信息驅動所述第一驅動區域；第二區域驅動子單元，被配置成按所述語音驅動信息驅動所述第二驅動區域，生成所述動態形象；以及被配置成響應于所述第一驅動區域和第二驅動區域部分重疊或完全重疊，采用質量評價的方式對目標姿態信息和語音信息對應的驅動效果進行預判，以確定基于目標姿態信息或語音信息生成的表情驅動信息中的更優者對重疊的部分進行驅動。