[發明專利]面部信息的生成方法及裝置

在審

• 申請號: 202011281673.0
• 申請日: 2020-11-16
• 公開（公告）號: CN114513678A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 綦金瑋;張邦;潘攀;徐盈輝
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/2343;H04N21/431;G10L21/10;G10L21/18;G10L13/04;G10L13/047;G10L13/08;G10L25/24;G10L25/30;G06V40/16;G06V10/46;G06V10/82;G0
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

1.一種面部信息的生成方法，其特征在于，包括：

獲取虛擬主播播報過程中輸出的音頻信息，其中，所述音頻信息為將播報文本進行語音合成而生成的信息，且所述音頻信息包括連續的多幀音頻；

基于神經網絡模型對所述音頻信息進行處理，預測得到所述虛擬主播嘴部的動作序列；

將情緒狀態標簽結合至所述動作序列中，生成所述虛擬主播播報過程中的面部動作，其中，所述情緒狀態標簽為基于所述播報文本生成的情緒動作參數。

2.根據權利要求1所述的方法，其特征在于，基于神經網絡模型對所述音頻信息進行處理，預測得到所述虛擬主播嘴部的動作序列，包括：

采用序列模型對所述音頻信息進行處理，預測得到所述虛擬主播在播報過程中臉部的關鍵部位的坐標和音素標簽；

對所述臉部的關鍵部位的坐標、所述音素標簽和所述音頻信息進行拼接處理，生成拼接結果；

采用嘴型動作預測模型對拼接結果進行處理，預測得到所述虛擬主播嘴部在播報過程中的動作序列。

3.根據權利要求2所述的方法，其特征在于，所述序列模型包括：人臉關鍵點預測模型以及音素識別模型，其中，采用序列模型對所述音頻信息進行處理，預測得到所述虛擬主播在播報過程中臉部的關鍵部位的坐標和音素標簽，包括：

提取所述音頻信息的梅爾頻率倒譜系數特征，其中，所述梅爾頻率倒譜系數特征為所述信息中每幀音頻的特征序列；

采用所述人臉關鍵點預測模型和所述音素識別模型處理所述每幀音頻的特征序列，生成每幀音頻下臉部的關鍵部位的坐標和音素標簽。

4.根據權利要求2所述的方法，其特征在于，獲取所述虛擬主播的嘴部在播報過程中的動作序列的過程中，所述虛擬主播臉部其他部位的動作序列為空。

5.根據權利要求1至4中任意一項所述的方法，其特征在于，在獲取虛擬主播播報過程中輸出的音頻信息之前，所述方法還包括：

獲取所述播報文本；

采用語音合成工具處理將所述播報文本進行合成生成所述虛擬主播播報的所述音頻信息。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

解析所述播報文本，獲取所述播報文本中用于表征情緒特征的情緒關鍵詞；

對所述情緒關鍵詞標注標簽信息，生成所述情緒狀態標簽，其中，所述標簽信息包括：所述情緒關鍵詞的播報時間戳、情緒特征。

7.根據權利要求6所述的方法，其特征在于，將情緒狀態標簽結合至所述動作序列中，生成所述虛擬主播播報過程中的面部動作，包括：

將所述情緒狀態標簽按照播報時間戳與所述動作序列進行對齊，獲取每幀音頻中不同時間點的嘴部動作和情緒狀態標簽；

獲取不同時間點下與所述情緒狀態標簽關聯的情緒特征的內容；

將不同時間點下的所述情緒特征的內容與所述動作序列進行結合，生成所述虛擬主播播報過程中的面部動作，其中，所述面部動作用于表征所述虛擬主播播報過程中的情緒變化。

8.一種面部信息的生成方法，其特征在于，包括：

在交互界面上顯示播報音頻信息的虛擬主播，其中，所述音頻信息為將播報文本進行語音合成而生成的信息，且所述音頻信息包括連續的多幀音頻；

在所述交互界面上展示所述虛擬主播在播報過程中的面部動作，其中，所述面部動作由所述虛擬主播嘴部的動作序列與情緒狀態標簽結合而生成，所述情緒狀態標簽為基于所述播報文本生成的情緒動作參數；

其中，所述嘴部的動作序列為通過于神經網絡模型對所述音頻信息進行處理而預測得到。