[發(fā)明專利]基于語(yǔ)音的圖像生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110607680.3
• 申請(qǐng)日: 2021-06-01
• 公開(kāi)（公告）號(hào): CN113256751B
• 公開(kāi)（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 張旭龍;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06T7/13;G06F16/683;G10L15/06;G10L15/10;G10L15/26;G10L25/03
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

1.一種基于語(yǔ)音的圖像生成方法，其特征在于，所述基于語(yǔ)音的圖像生成方法包括：

獲取待處理的目標(biāo)語(yǔ)音，并對(duì)所述目標(biāo)語(yǔ)音進(jìn)行預(yù)處理，得到標(biāo)準(zhǔn)語(yǔ)音；

對(duì)所述標(biāo)準(zhǔn)語(yǔ)音進(jìn)行特征提取，得到語(yǔ)音特征向量；

對(duì)所述語(yǔ)音特征向量進(jìn)行相似度計(jì)算，得到語(yǔ)音相似度，并根據(jù)所述語(yǔ)音相似度對(duì)所述目標(biāo)語(yǔ)音進(jìn)行語(yǔ)音模板匹配，得到目標(biāo)語(yǔ)音模板；

根據(jù)所述目標(biāo)語(yǔ)音模板，對(duì)所述目標(biāo)語(yǔ)音進(jìn)行文本和語(yǔ)義查詢，得到所述目標(biāo)語(yǔ)音對(duì)應(yīng)的文本信息和語(yǔ)義信息；

將所述文本信息和所述語(yǔ)義信息輸入預(yù)置的圖像生成模型中的圖像生成器進(jìn)行圖像生成，得到初始圖像，并通過(guò)預(yù)置的圖像生成模型中的判別器對(duì)所述初始圖像進(jìn)行圖像檢測(cè)，得到檢測(cè)結(jié)果，所述檢測(cè)結(jié)果包括邊緣正確和邊緣錯(cuò)誤；

若所述檢測(cè)結(jié)果為邊緣正確，則通過(guò)所述圖像生成模型將所述初始圖像輸出為目標(biāo)圖像；

所述將所述文本信息和所述語(yǔ)義信息輸入預(yù)置的圖像生成模型中的圖像生成器進(jìn)行圖像生成，得到初始圖像包括：

將所述文本信息和所述語(yǔ)義信息輸入預(yù)置的圖像生成模型中的圖像生成器，并采用預(yù)置的注意力機(jī)制，對(duì)所述文本信息進(jìn)行圖像對(duì)象提取，得到目標(biāo)對(duì)象，并對(duì)所述語(yǔ)義信息進(jìn)行語(yǔ)義布局信息提取，得到目標(biāo)布局信息；

調(diào)用預(yù)置的文字圖像庫(kù)對(duì)所述目標(biāo)對(duì)象進(jìn)行圖像查找，得到所述文本信息對(duì)應(yīng)的圖像，并調(diào)用預(yù)置文字關(guān)系圖對(duì)所述目標(biāo)布局信息進(jìn)行查找，得到所述語(yǔ)義信息對(duì)應(yīng)的圖像關(guān)系；

根據(jù)所述圖像關(guān)系對(duì)所述文本信息對(duì)應(yīng)的圖像進(jìn)行圖像合成，得到初始圖像。

2.根據(jù)權(quán)利要求1所述的基于語(yǔ)音的圖像生成方法，其特征在于，所述對(duì)所述標(biāo)準(zhǔn)語(yǔ)音進(jìn)行特征提取，得到語(yǔ)音特征向量包括：

對(duì)所述標(biāo)準(zhǔn)語(yǔ)音進(jìn)行短時(shí)傅里葉變換，得到所述標(biāo)準(zhǔn)語(yǔ)音對(duì)應(yīng)的語(yǔ)音頻譜；

采用預(yù)置的濾波器對(duì)所述語(yǔ)音頻譜進(jìn)行濾波操作，得到所述標(biāo)準(zhǔn)語(yǔ)音對(duì)應(yīng)的目標(biāo)梅爾頻譜；

對(duì)所述目標(biāo)梅爾頻譜進(jìn)行向量編碼，得到語(yǔ)音特征向量。

3.根據(jù)權(quán)利要求1所述的基于語(yǔ)音的圖像生成方法，其特征在于，所述對(duì)所述語(yǔ)音特征向量進(jìn)行相似度計(jì)算，得到語(yǔ)音相似度，并根據(jù)所述語(yǔ)音相似度對(duì)所述目標(biāo)語(yǔ)音進(jìn)行語(yǔ)音模板匹配，得到目標(biāo)語(yǔ)音模板包括：

提取所述語(yǔ)音特征向量的向量元素，得到多個(gè)向量元素；

調(diào)用預(yù)置語(yǔ)音模板向量，對(duì)所述多個(gè)向量元素進(jìn)行相似度計(jì)算，得到語(yǔ)音相似度；

根據(jù)所述語(yǔ)音相似度，對(duì)所述目標(biāo)語(yǔ)音進(jìn)行語(yǔ)音模板匹配，得到目標(biāo)語(yǔ)音模板。

4.根據(jù)權(quán)利要求1所述的基于語(yǔ)音的圖像生成方法，其特征在于，所述根據(jù)所述目標(biāo)語(yǔ)音模板，對(duì)所述目標(biāo)語(yǔ)音進(jìn)行文本和語(yǔ)義查詢，得到所述目標(biāo)語(yǔ)音對(duì)應(yīng)的文本信息和語(yǔ)義信息包括：

基于所述目標(biāo)語(yǔ)音模板，對(duì)所述目標(biāo)語(yǔ)音進(jìn)行語(yǔ)音匹配，得到所述目標(biāo)語(yǔ)音對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)；

分別查詢所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的文本和語(yǔ)義，得到所述目標(biāo)語(yǔ)音對(duì)應(yīng)的文本信息和語(yǔ)義信息。

5.根據(jù)權(quán)利要求1所述的基于語(yǔ)音的圖像生成方法，其特征在于，所述通過(guò)預(yù)置的圖像生成模型中的判別器對(duì)所述初始圖像進(jìn)行圖像檢測(cè)，得到檢測(cè)結(jié)果包括：

將所述初始圖像輸入預(yù)置的圖像生成模型中的判別器，并通過(guò)所述判別器獲取所述初始圖像的邊界框；

對(duì)所述邊界框進(jìn)行二元交叉熵?fù)p失函數(shù)設(shè)置，并根據(jù)所述二元交叉熵?fù)p失函數(shù)和所述語(yǔ)義信息對(duì)所述初始圖像進(jìn)行圖像檢測(cè)，得到檢測(cè)結(jié)果，所述檢測(cè)結(jié)果包括邊緣正確和邊緣錯(cuò)誤。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的基于語(yǔ)音的圖像生成方法，其特征在于，在所述通過(guò)預(yù)置的圖像生成模型中的判別器對(duì)所述初始圖像進(jìn)行圖像檢測(cè)，得到檢測(cè)結(jié)果之后，還包括：

若所述檢測(cè)結(jié)果為邊緣錯(cuò)誤，則將所述檢測(cè)結(jié)果反饋至所述圖像生成器，通過(guò)所述圖像生成器對(duì)所述初始圖像進(jìn)行圖像優(yōu)化。