[發明專利]圖像生成方法、裝置和電子設備

在審

• 申請號: 202110237774.6
• 申請日: 2021-03-03
• 公開（公告）號: CN112990283A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 袁燚;許曼玲;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種圖像生成方法，其特征在于，所述方法包括：

基于目標音頻的音頻特征，對初始動作參數進行調整，得到第一動作參數；其中，所述第一動作參數指示的動作與所述音頻特征相匹配；

基于所述第一動作參數以及包含目標對象的初始圖像，生成目標圖像；所述目標圖像中，所述目標對象具有所述第一動作參數指示的動作。

2.根據權利要求1所述的方法，其特征在于，所述目標對象包括人臉；所述第一動作參數指示的動作包括所述人臉的表情動作。

3.根據權利要求1所述的方法，其特征在于，所述目標音頻的音頻特征用于調整所述初始動作參數指示的動作的動作幅度；所述第一動作參數指示的動作的動作幅度與所述音頻特征相匹配。

4.根據權利要求1所述的方法，其特征在于，基于目標音頻的音頻特征，對初始動作參數進行調整，得到第一動作參數的步驟，包括：

根據所述目標音頻的音頻特征，確定參數調整權重；

基于所述參數調整權重，對所述初始動作參數進行放縮處理，得到第一動作參數。

5.根據權利要求4所述的方法，其特征在于，根據所述目標音頻的音頻特征，確定參數調整權重的步驟，包括：

在所述音頻特征的時間維度上，對所述時間維度上的各個時間點對應的特征向量求取平均值，得到初始參數；

將所述初始參數映射至預設的數值范圍中，得到所述參數調整權重。

6.根據權利要求4所述的方法，其特征在于，根據所述目標音頻的音頻特征，確定參數調整權重的步驟之前，所述方法還包括：

對所述音頻特征中，任意兩個相鄰的初始時間點之間插入指定數量的中間時間點，以及每個所述中間時間點對應的特征向量，得到最終的所述音頻特征；其中，所述中間時間點對應的特征向量，基于與所述中間時間點相鄰的兩個初始時間點對應的特征向量確定。

7.根據權利要求1所述的方法，其特征在于，所述目標音頻的音頻特征，通過下述方式得到：

提取所述目標音頻的梅爾頻率倒譜系數MFCC參數；所述MFCC參數包括預設時間間隔的多個時間點，以及每個時間點對應一個MFCC數值；

將所述MFCC參數輸入至預先訓練完成的特征提取網絡中，輸出所述目標音頻的音頻特征。

8.根據權利要求7所述的方法，其特征在于，所述特征提取網絡包括多個依次串聯的特征提取模塊；所述特征提取模塊包括卷積層、批量歸一化層和激活函數層。

9.根據權利要求7所述的方法，其特征在于，將所述MFCC參數輸入至預先訓練完成的特征提取網絡中，輸出所述目標音頻的音頻特征的步驟之前，所述方法還包括：

基于預設的填充值，對所述MFCC參數的頻率維度上的數值進行數值填充，以使所述頻率維度上的數值數量與所述MFCC參數的時間維度上的數值數量相匹配；

將數值填充后的所述MFCC參數進行復制，得到指定通道數量的所述MFCC參數。

10.根據權利要求7所述的方法，其特征在于，所述特征提取網絡通過下述方式訓練得到：

將樣本音頻的MFCC參數輸入至編碼網絡中，輸出所述樣本音頻的特征向量；將所述樣品音頻的特征向量輸入至解碼網絡中，得到所述樣本音頻的輸出參數；

基于預設的損失函數，計算所述輸出參數與所述樣本音頻的MFCC參數之間的損失值，基于所述損失值訓練所述編碼網絡和所述解碼網絡，將訓練完成后的所述編碼網絡確定為所述特征提取網絡。

11.根據權利要求10所述的方法，其特征在于，所述解碼網絡包括多個依次串聯的解碼模塊；所述解碼模塊包括轉置卷積層、批量歸一化層和激活函數層。