[發(fā)明專利]承諾信息速率變分自編碼器

在審

• 申請?zhí)枺?/td>: 201980063840.3
• 申請日: 2019-09-27
• 公開（公告）號(hào): CN112789625A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 本杰明·普爾;阿倫·杰勒德·安東尼厄斯·范登伍爾德;阿里·拉扎維-內(nèi)馬圖拉希;奧里奧爾·溫亞爾斯
• 申請（專利權(quán)）人: 淵慧科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/00;G06N3/08
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，包括：

用于接收輸入數(shù)據(jù)項(xiàng)的輸入；

編碼器神經(jīng)網(wǎng)絡(luò)，所述編碼器神經(jīng)網(wǎng)絡(luò)被配置成對所述輸入數(shù)據(jù)項(xiàng)進(jìn)行編碼，以確定定義潛變量集合的第一、后驗(yàn)分布的參數(shù)集合；

子系統(tǒng)，所述子系統(tǒng)從所述后驗(yàn)分布中采樣以確定所述潛變量集合的值；

解碼器神經(jīng)網(wǎng)絡(luò)，所述解碼器神經(jīng)網(wǎng)絡(luò)被配置成接收所述潛變量集合的所述值并生成表示所述潛變量集合的所述值的輸出數(shù)據(jù)項(xiàng)；

其中，所述變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)被配置用于使用目標(biāo)函數(shù)來訓(xùn)練，所述目標(biāo)函數(shù)具有取決于所述輸入數(shù)據(jù)項(xiàng)和所述輸出數(shù)據(jù)項(xiàng)之間的差異的第一項(xiàng)和取決于所述后驗(yàn)分布和所述潛變量集合的第二、先驗(yàn)分布之間的差異的第二項(xiàng)，其中，所述先驗(yàn)分布的結(jié)構(gòu)與所述后驗(yàn)分布的結(jié)構(gòu)不同，使得所述后驗(yàn)分布不能與所述先驗(yàn)分布匹配。

2.根據(jù)權(quán)利要求1所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述后驗(yàn)分布和所述先驗(yàn)分布每一個(gè)均包括多元高斯分布，并且其中，所述后驗(yàn)分布的方差與所述先驗(yàn)分布的方差相差因數(shù)α，其中α≠1。

3.根據(jù)權(quán)利要求1或2所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述編碼器被配置成確定參數(shù)集合的序列，所述參數(shù)集合的序列定義潛變量集合的序列的分布序列，一個(gè)所述潛變量集合針對多個(gè)時(shí)間步中的每一個(gè)時(shí)間步。

4.根據(jù)權(quán)利要求3所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述先驗(yàn)分布包括自回歸分布，使得在每個(gè)時(shí)間步處所述先驗(yàn)分布取決于在先前時(shí)間步處的所述先驗(yàn)分布。

5.根據(jù)權(quán)利要求4所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，在時(shí)間步長t處的所述潛變量集合的值由α乘以在先前時(shí)間步處的所述潛變量集合的值與噪聲分量的和來定義，其中|α|＜1。

6.根據(jù)權(quán)利要求3、4或5所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其中，所述解碼器神經(jīng)網(wǎng)絡(luò)是被配置成生成輸出數(shù)據(jù)項(xiàng)值的序列的自回歸神經(jīng)網(wǎng)絡(luò)，每個(gè)所述輸出數(shù)據(jù)項(xiàng)值以先前生成的輸出數(shù)據(jù)項(xiàng)值為條件；并且進(jìn)一步包括系統(tǒng)，所述系統(tǒng)用于將在每個(gè)時(shí)間步處傳遞給所述解碼器的所述潛變量集合的值限制為如下值：這些值編碼有與所述輸出數(shù)據(jù)值的序列中待被生成的值有關(guān)的信息。

7.根據(jù)權(quán)利要求3至6中的任一項(xiàng)所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，進(jìn)一步包括輔助神經(jīng)網(wǎng)絡(luò)，所述輔助神經(jīng)網(wǎng)絡(luò)被配置成學(xué)習(xí)所述潛變量集合的序列的所述分布序列。

8.根據(jù)權(quán)利要求1-7中的任一項(xiàng)所述的經(jīng)訓(xùn)練的解碼器神經(jīng)網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1-7中的任一項(xiàng)所述的經(jīng)訓(xùn)練的編碼器神經(jīng)網(wǎng)絡(luò)。

10.一種訓(xùn)練根據(jù)權(quán)利要求1-7中的任一項(xiàng)所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法，包括：

接收訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括訓(xùn)練數(shù)據(jù)項(xiàng)；

將每個(gè)訓(xùn)練數(shù)據(jù)項(xiàng)提供給所述變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)的所述輸入，以生成對應(yīng)的輸出數(shù)據(jù)項(xiàng)；

根據(jù)所述訓(xùn)練數(shù)據(jù)項(xiàng)和所述對應(yīng)的輸出數(shù)據(jù)項(xiàng)之間的差異以及根據(jù)所述潛變量集合的后驗(yàn)分布和先驗(yàn)分布之間的差異來確定所述目標(biāo)函數(shù)的梯度；以及

通過所述變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)反向傳播所述梯度，以調(diào)整所述編碼器神經(jīng)網(wǎng)絡(luò)的和所述解碼器神經(jīng)網(wǎng)絡(luò)的參數(shù)，以優(yōu)化所述目標(biāo)函數(shù)。

11.根據(jù)權(quán)利要求10從屬于權(quán)利要求7時(shí)所述的方法，其中，將每個(gè)訓(xùn)練數(shù)據(jù)項(xiàng)提供給所述變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)的所述輸入以生成對應(yīng)的輸出數(shù)據(jù)項(xiàng)包括從所述后驗(yàn)分布中采樣以確定所述潛變量集合的采樣值；所述方法進(jìn)一步包括使用所述潛變量集合的所述采樣值與所述編碼器神經(jīng)網(wǎng)絡(luò)和解碼器神經(jīng)網(wǎng)絡(luò)同時(shí)訓(xùn)練所述輔助神經(jīng)網(wǎng)絡(luò)。

12.一種獲得解碼器的方法，所述方法包括訓(xùn)練如權(quán)利要求10或11所述的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)，并且然后使用所訓(xùn)練的變分自編碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)的所述解碼器神經(jīng)網(wǎng)絡(luò)來獲得所述解碼器。