[發(fā)明專利]承諾信息速率變分自編碼器

在審

• 申請?zhí)枺?/td>: 201980063840.3
• 申請日: 2019-09-27
• 公開（公告）號: CN112789625A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設計）人: 本杰明·普爾;阿倫·杰勒德·安東尼厄斯·范登伍爾德;阿里·拉扎維-內(nèi)馬圖拉希;奧里奧爾·溫亞爾斯
• 申請（專利權(quán)）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/00;G06N3/08
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

一種變分自編碼器(VAE)神經(jīng)網(wǎng)絡系統(tǒng)，包括：編碼器神經(jīng)網(wǎng)絡，所述編碼器神經(jīng)網(wǎng)絡用于對輸入數(shù)據(jù)項進行編碼以定義潛變量集合的后驗分布；和解碼器神經(jīng)網(wǎng)絡，所述解碼器神經(jīng)網(wǎng)絡用于生成表示從后驗分布采樣的潛變量集合的值的輸出數(shù)據(jù)項。系統(tǒng)被配置用于利用目標函數(shù)進行訓練，所述目標函數(shù)包括取決于后驗分布和先驗分布之間的差異的項。先驗分布和后驗分布被布置為使得它們不能彼此匹配。VAE系統(tǒng)可以用于壓縮和解壓縮數(shù)據(jù)。

背景技術(shù)

本說明書涉及變分自編碼器神經(jīng)網(wǎng)絡系統(tǒng)及其組件。

神經(jīng)網(wǎng)絡是機器學習模型，該機器學習模型采用一個或多個層的非線性單元來預測針對接收到的輸入的輸出。一些神經(jīng)網(wǎng)絡除了輸出層外還包括一個或多個隱藏層。每個隱藏層的輸出用作網(wǎng)絡中下一層——即，下一個隱藏層或輸出層——的輸入。網(wǎng)絡的每一層根據(jù)相應的參數(shù)集合的當前值從接收到的輸入生成輸出。

發(fā)明內(nèi)容

在廣義上變分自編碼器(VAE)確定表示輸入數(shù)據(jù)項x的潛變量集合的分布。因此編碼器在潛變量z上確定后驗分布q(z|x)的參數(shù)。VAE是按鼓勵系統(tǒng)使后驗分布保持接近于通常是標準高斯的先驗p(z)的目標而訓練的。能夠從此分布取得樣本以生成輸出數(shù)據(jù)項。可以使用未標記數(shù)據(jù)來訓練VAE。該目標可以包括測量后驗分布與先驗分布之間的差異的項，諸如KL(Kullback-Leibler)散度。然而一些VAE實施方式特別是具有強大解碼器的實施方式的問題是，解碼器可以能夠在不依靠潛變量的情況下生成輸出數(shù)據(jù)項。

在一個創(chuàng)新方面中，因此提供了一種變分自編碼器神經(jīng)網(wǎng)絡系統(tǒng)。該系統(tǒng)可以作為計算機程序被實現(xiàn)在一個或多個位置中的一個或多個計算機上。

該系統(tǒng)可以包括用于接收諸如例如來自相機或LIDAR系統(tǒng)的圖像、數(shù)字化聲音或文本的輸入數(shù)據(jù)項的輸入。該系統(tǒng)還可以包括編碼器神經(jīng)網(wǎng)絡，該編碼器神經(jīng)網(wǎng)絡被配置成對輸入數(shù)據(jù)項進行編碼以確定定義潛變量集合的第一、后驗分布的參數(shù)集合。該系統(tǒng)還可以包括用于從后驗分布采樣以確定潛變量集合的值的子系統(tǒng)。該系統(tǒng)還可以包括解碼器神經(jīng)網(wǎng)絡，該解碼器神經(jīng)網(wǎng)絡被配置成接收潛變量集合的值并生成表示潛變量集合的值的輸出數(shù)據(jù)項。變分自編碼器神經(jīng)網(wǎng)絡系統(tǒng)可以被配置用于按目標函數(shù)而訓練。這可以具有取決于輸入數(shù)據(jù)項與輸出數(shù)據(jù)項之間的差異的第一項，諸如交叉熵項，以及取決于潛變量集合的后驗分布和第二、先驗分布之間的差異的第二項，諸如KL散度項。先驗分布可以與后驗分布不同；更特別地先驗分布的結(jié)構(gòu)可以與后驗分布的結(jié)構(gòu)不同，使得后驗分布不能與先驗分布匹配。

在實施方式中，可以將從編碼器轉(zhuǎn)移到解碼器的信息表現(xiàn)為后驗分布與先驗分布之間的非零散度。散度可以是KL散度、Jensen-Shannon散度或某個其他差異度量。

通過對后驗分布和先驗分布施加不同的結(jié)構(gòu)，可以保證目標函數(shù)的第二項為非零，并且因此可以迫使解碼器在生成輸出數(shù)據(jù)項時依靠潛變量。

分布的結(jié)構(gòu)可以由其固有形狀確定，該固有形狀可以例如由其數(shù)學形式確定，和/或它可以由分布的參數(shù)確定。因此通過將分布的一個或多個參數(shù)固定為彼此不同，可以將后驗分布和先驗分布定義成具有不同的結(jié)構(gòu)。例如在分布具有相同或類似的數(shù)學形式的情況下，可以通過將每個分布的一個或多個參數(shù)約束成具有不同的相對或絕對值來將分布約束成在結(jié)構(gòu)上彼此不同。

例如后驗分布和先驗分布可以每一個均包括多元高斯分布。然后后驗分布的方差可以與先驗分布的方差相差因數(shù)α(其中α≠1)。用于后驗分布和先驗分布的這種結(jié)構(gòu)具有簡單的優(yōu)點；它還促進以封閉形式例如在訓練期間確定KL散度項。在一些實施方式中，能夠根據(jù)經(jīng)由潛變量從編碼器轉(zhuǎn)移到解碼器的期望承諾，即最小，信息速率(以封閉形式)確定參數(shù)α。