[發(fā)明專利]一種基于高斯混合模型先驗(yàn)變分自編碼器的圖像生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010024870.8
• 申請(qǐng)日: 2020-01-10
• 公開（公告）號(hào): CN111243045B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 郭春生;周家洛;應(yīng)娜;陳華華;楊萌
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T9/00
• 分類號(hào): G06T9/00
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 周希良

本發(fā)明公開了一種基于高斯混合模型先驗(yàn)變分自編碼器的圖像生成方法，包括步驟：S11.預(yù)設(shè)生成圖像訓(xùn)練數(shù)據(jù)集；其中訓(xùn)練數(shù)據(jù)集由若干批次的訓(xùn)練數(shù)據(jù)組成；S12.搭建高斯混合模型先驗(yàn)的變分自編碼器網(wǎng)絡(luò)；S13.將預(yù)設(shè)的若干批次的訓(xùn)練數(shù)據(jù)上傳至變分自編碼器網(wǎng)絡(luò)中，并確定變分自編碼器網(wǎng)絡(luò)的后驗(yàn)分布和先驗(yàn)分布；S14.確定高斯混合模型中高斯分量之間的關(guān)系，得到映射函數(shù)；S15.利用變分自編碼器網(wǎng)絡(luò)和得到的映射函數(shù)得到重構(gòu)損失函數(shù)和KL散度函數(shù)，計(jì)算變分自編碼器網(wǎng)絡(luò)的后驗(yàn)分布和先驗(yàn)分布的損失函數(shù)，并對(duì)變分自編碼器網(wǎng)絡(luò)的參數(shù)進(jìn)行更新以生成圖像；S16.當(dāng)生成圖像時(shí)，將偽輸入作為輸入圖像上傳至變分自編碼器網(wǎng)絡(luò)，得到最終生成的圖片。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于高斯混合模型先驗(yàn)變分自編碼器的圖像生成方法。

背景技術(shù)

在互聯(lián)網(wǎng)時(shí)代，機(jī)器學(xué)習(xí)發(fā)展迅速，取得了很大的成就，其中圖像生成技術(shù)作為機(jī)器學(xué)習(xí)的一個(gè)分支，對(duì)我們理解圖像發(fā)揮了重要的作用。圖像生成模型是用于對(duì)圖像進(jìn)行概率建模的概率模型，而深度神經(jīng)網(wǎng)絡(luò)可以看成是一個(gè)非常復(fù)雜的、擬合能力非常強(qiáng)的非線性函數(shù)，可以用于搭建生成模型來(lái)估計(jì)概率密度函數(shù)的參數(shù)。圖像生成模型可以用于更多不同圖片樣本的生成，可以用于圖像信息的恢復(fù)，也可以用于不同模態(tài)的圖片或者圖片與文字、語(yǔ)音等之間的轉(zhuǎn)換，還可以用于預(yù)測(cè)未來(lái)，例如可以根據(jù)視頻中過(guò)去幀和當(dāng)前幀預(yù)測(cè)未來(lái)幀。

變分自編碼器是一種十分著名的基于深度學(xué)習(xí)的圖像生成模型，它是變分推斷的自然發(fā)展，它結(jié)合ELBO和神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，解決了通用場(chǎng)景下的推斷問(wèn)題，同時(shí)也解決了連續(xù)數(shù)據(jù)的生成問(wèn)題。它具有很多優(yōu)勢(shì)，包括訓(xùn)練快、穩(wěn)定等，從而在理論模型和工業(yè)界上都有廣泛的應(yīng)用。然而，標(biāo)準(zhǔn)的變分自編碼器先驗(yàn)由于存在欠擬合問(wèn)題，往往會(huì)生成比較模糊的圖片。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的缺陷，提供了一種基于高斯混合模型先驗(yàn)變分自編碼器的圖像生成方法，可以對(duì)復(fù)雜圖像進(jìn)行建模，生成高質(zhì)量圖片，這大大提高了模型的生成能力。

為了實(shí)現(xiàn)以上目的，本發(fā)明采用以下技術(shù)方案：

一種基于高斯混合模型先驗(yàn)變分自編碼器的圖像生成方法，包括步驟：

S1.預(yù)設(shè)生成圖像訓(xùn)練數(shù)據(jù)集；其中，所述訓(xùn)練數(shù)據(jù)集由若干批次的訓(xùn)練數(shù)據(jù)組成；

S2.搭建基于高斯混合模型先驗(yàn)的變分自編碼器網(wǎng)絡(luò)；

S3.將所述預(yù)設(shè)的若干批次的訓(xùn)練數(shù)據(jù)上傳至搭建的變分自編碼器網(wǎng)絡(luò)中，并確定所述變分自編碼器網(wǎng)絡(luò)的后驗(yàn)分布和先驗(yàn)分布；

S4.確定所述高斯混合模型中高斯分量之間的關(guān)系，得到映射函數(shù)；

S5.利用所述變分自編碼器網(wǎng)絡(luò)和得到的映射函數(shù)得到重構(gòu)損失函數(shù)和KL散度函數(shù)，根據(jù)所述得到的重構(gòu)損失函數(shù)和KL散度函數(shù)計(jì)算所述變分自編碼器網(wǎng)絡(luò)的后驗(yàn)分布和先驗(yàn)分布的損失函數(shù)，并對(duì)所述變分自編碼器網(wǎng)絡(luò)的參數(shù)進(jìn)行更新以生成圖像；

S6.當(dāng)生成圖像時(shí)，將偽輸入作為輸入圖像上傳至所述變分自編碼器網(wǎng)絡(luò)，得到最終生成的圖片。

進(jìn)一步的，所述步驟S2還包括構(gòu)建變分自編碼器網(wǎng)絡(luò)中隱變量的后驗(yàn)分布。

進(jìn)一步的，所述步驟S2中搭建的變分自編碼器網(wǎng)絡(luò)中的參數(shù)包括網(wǎng)絡(luò)輸入圖像尺寸C×H×W、批次大小B，隱變量維數(shù)D，隱變量z，高斯混合數(shù)量M，偽輸入α，偽輸入數(shù)量K。