[發(fā)明專利]圖像生成方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110237774.6
• 申請日: 2021-03-03
• 公開（公告）號: CN112990283A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 袁燚;許曼玲;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本發(fā)明提供了一種圖像生成方法、裝置和電子設(shè)備；其中，該方法包括：基于目標(biāo)音頻的音頻特征，對初始動作參數(shù)進行調(diào)整，得到第一動作參數(shù)；其中，第一動作參數(shù)指示的動作與音頻特征相匹配；基于第一動作參數(shù)以及包含目標(biāo)對象的初始圖像，生成目標(biāo)圖像；目標(biāo)圖像中，目標(biāo)對象具有第一動作參數(shù)指示的動作。該方式中，通過音頻的音頻特征調(diào)整動作參數(shù)，可以使得到的第一動作參數(shù)所指示的動作與該音頻特征相匹配，進而使生成的圖像中的目標(biāo)對象具有第一動作參數(shù)指示的動作，因而該方式可以通過音頻控制圖像中對象的動作，使圖像中對象的動作隨著音頻內(nèi)容的變化而變化，在播放音頻的過程中，圖像內(nèi)容變化多樣，提高了用戶的視覺體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是涉及一種圖像生成方法、裝置和電子設(shè)備。

背景技術(shù)

終端設(shè)備播放音頻時，在顯示屏幕上顯示特定的圖像，并使圖像內(nèi)容隨著音頻律動的變化而變化，可以提高用戶在傾聽音頻時的視覺體驗感。相關(guān)技術(shù)中，隨著音頻律動變化的圖像通常為跳躍的條狀頻譜圖；將正在播放的音頻進行傅里葉變換，得到音頻的頻域特征，基于該頻域特征即可生成上述條狀頻譜圖。但這種圖像內(nèi)容較為單一，對用戶而言缺乏吸引力，用戶視覺體驗感較低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種圖像生成方法、裝置和電子設(shè)備，以在播放音頻的過程中，圖像內(nèi)容變化多樣，提高用戶的視覺體驗。

第一方面，本發(fā)明實施例提供了一種圖像生成方法，方法包括：基于目標(biāo)音頻的音頻特征，對初始動作參數(shù)進行調(diào)整，得到第一動作參數(shù)；其中，第一動作參數(shù)指示的動作與音頻特征相匹配；基于第一動作參數(shù)以及包含目標(biāo)對象的初始圖像，生成目標(biāo)圖像；目標(biāo)圖像中，目標(biāo)對象具有第一動作參數(shù)指示的動作。

上述目標(biāo)對象包括人臉；第一動作參數(shù)指示的動作包括人臉的表情動作。

上述目標(biāo)音頻的音頻特征用于調(diào)整初始動作參數(shù)指示的動作的動作幅度；第一動作參數(shù)指示的動作的動作幅度與音頻特征相匹配。

上述基于目標(biāo)音頻的音頻特征，對初始動作參數(shù)進行調(diào)整，得到第一動作參數(shù)的步驟，包括：根據(jù)目標(biāo)音頻的音頻特征，確定參數(shù)調(diào)整權(quán)重；基于參數(shù)調(diào)整權(quán)重，對初始動作參數(shù)進行放縮處理，得到第一動作參數(shù)。

上述根據(jù)目標(biāo)音頻的音頻特征，確定參數(shù)調(diào)整權(quán)重的步驟，包括：在音頻特征的時間維度上，對時間維度上的各個時間點對應(yīng)的特征向量求取平均值，得到初始參數(shù)；將初始參數(shù)映射至預(yù)設(shè)的數(shù)值范圍中，得到參數(shù)調(diào)整權(quán)重。

上述根據(jù)目標(biāo)音頻的音頻特征，確定參數(shù)調(diào)整權(quán)重的步驟之前，方法還包括：對音頻特征中，任意兩個相鄰的初始時間點之間插入指定數(shù)量的中間時間點，以及每個中間時間點對應(yīng)的特征向量，得到最終的音頻特征；其中，中間時間點對應(yīng)的特征向量，基于與中間時間點相鄰的兩個初始時間點對應(yīng)的特征向量確定。

上述目標(biāo)音頻的音頻特征，通過下述方式得到：提取目標(biāo)音頻的梅爾頻率倒譜系數(shù)MFCC參數(shù)；MFCC參數(shù)包括預(yù)設(shè)時間間隔的多個時間點，以及每個時間點對應(yīng)一個MFCC數(shù)值；將MFCC參數(shù)輸入至預(yù)先訓(xùn)練完成的特征提取網(wǎng)絡(luò)中，輸出目標(biāo)音頻的音頻特征。

上述特征提取網(wǎng)絡(luò)包括多個依次串聯(lián)的特征提取模塊；特征提取模塊包括卷積層、批量歸一化層和激活函數(shù)層。

上述將MFCC參數(shù)輸入至預(yù)先訓(xùn)練完成的特征提取網(wǎng)絡(luò)中，輸出目標(biāo)音頻的音頻特征的步驟之前，方法還包括：基于預(yù)設(shè)的填充值，對MFCC參數(shù)的頻率維度上的數(shù)值進行數(shù)值填充，以使頻率維度上的數(shù)值數(shù)量與MFCC參數(shù)的時間維度上的數(shù)值數(shù)量相匹配；將數(shù)值填充后的MFCC參數(shù)進行復(fù)制，得到指定通道數(shù)量的MFCC參數(shù)。