[發明專利]一種人臉圖像生成方法及電子設備

在審

• 申請號: 201911033642.0
• 申請日: 2019-10-28
• 公開（公告）號: CN110706713A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 黃俊仁
• 申請（專利權）人: 維沃移動通信有限公司
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L25/24;G06K9/00;G06K9/62
• 代理公司: 11319 北京潤澤恒知識產權代理有限公司
• 代理人: 莎日娜

1.一種人臉圖像生成方法，其特征在于，所述方法包括：

獲取目標音頻；

提取所述目標音頻的聲紋特征數據；

將所述目標音頻的聲紋特征數據輸入至預先生成的目標模型，輸出目標人臉圖像。

2.根據權利要求1所述的方法，其特征在于，所述將所述目標音頻的聲紋特征數據輸入至預先生成的目標模型，輸出目標人臉圖像之前，所述方法還包括：

獲取訓練樣本集，其中，所述訓練樣本集中包括用于模型訓練的訓練樣本，所述訓練樣本包括樣本人物的音頻和人臉圖像，所述樣本人物的音頻為所述樣本人物朗讀預設文本的音頻；

基于所述樣本人物的音頻，提取所述樣本人物的聲紋特征數據；

基于所述樣本人物的聲紋特征數據和所述樣本人物的人臉圖像，進行模型訓練，得到目標模型；

其中，所述目標模型用于將待轉換音頻轉換為對應的人臉圖像。

3.根據權利要求2所述的方法，其特征在于，所述目標模型包括：目標編碼模型和目標解碼模型；

其中，所述目標編碼模型與所述目標解碼模型級聯；

所述目標編碼模型用于接收所述待轉換音頻的聲紋特征數據，并將所述待轉換音頻的聲紋特征數據轉換為所述待轉換音頻的人像特征向量；

所述目標解碼模型用于接收來自所述目標編碼模型的人像特征向量，并將所述人像特征向量轉換為所述待轉換音頻對應的人臉圖像。

4.根據權利要求3所述的方法，其特征在于，所述基于所述樣本人物的聲紋特征數據和所述樣本人物的人臉圖像，進行模型訓練，得到目標模型，包括：

訓練所述目標解碼模型；

基于訓練后的所述目標解碼模型、所述樣本人物的聲紋特征數據和所述樣本人物的人臉圖像，訓練所述目標編碼模型。

5.根據權利要求4所述的方法，其特征在于，所述訓練所述目標解碼模型，包括：

獲取高斯白噪聲圖像；

將所述高斯白噪聲圖像輸入至預設初始生成器；

將所述預設初始生成器的輸出圖像和所述樣本人物的人臉圖像交替輸入至預設初始判別器；

對所述預設初始生成器和所述預設初始判別器進行對抗生成訓練，得到生成器，并將所述生成器確定為目標解碼模型。

6.根據權利要求4所述的方法，其特征在于，所述基于訓練后的所述目標解碼模型、所述樣本人物的聲紋特征數據和所述樣本人物的人臉圖像，訓練所述目標編碼模型，包括：

根據預設連接關系，將預設初始編碼模型與所述目標解碼模型級聯，其中，所述預設連接關系包括：所述預設初始編碼網絡前置于所述目標解碼模型；

將所述樣本人物的聲紋特征數據輸入至所述預設初始編碼模型；

將所述預設初始編碼模型輸出的人像特征向量輸入至所述目標解碼模型；

基于所述目標解碼模型的輸出圖像和所述樣本人物的人臉圖像，對所述預設初始編碼模型進行監督式訓練，得到編碼模型，并將所述編碼模型確定為目標編碼模型。

7.根據權利要求1至6任一項所述的方法，其特征在于，所述聲紋特征數據為梅爾頻率倒譜系數。

8.一種電子設備，其特征在于，所述電子設備包括：

第一獲取單元，用于獲取目標音頻；

第一提取單元，用于提取所述目標音頻的聲紋特征數據；

第一處理單元，用于將所述目標音頻的聲紋特征數據輸入至預先生成的目標模型，輸出目標人臉圖像。

9.一種電子設備，其特征在于，包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1至7任一項所述的人臉圖像生成方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的人臉圖像生成方法的步驟。