[發(fā)明專利]使用神經(jīng)網(wǎng)絡(luò)編碼和重構(gòu)輸入

在審

• 申請?zhí)枺?/td>: 201780056545.6
• 申請日: 2017-08-03
• 公開（公告）號: CN109804383A
• 公開（公告）日: 2019-05-24
• 發(fā)明（設(shè)計）人: M.阿巴迪;D.G.安德森
• 申請（專利權(quán)）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;H04L9/30
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 邵亞麗

1.一種用于在一個或多個計算機上訓練神經(jīng)網(wǎng)絡(luò)系統(tǒng)的計算機實施的方法，包括：

獲得神經(jīng)網(wǎng)絡(luò)系統(tǒng)的多個訓練數(shù)據(jù)對，每個訓練數(shù)據(jù)對包括相應(yīng)第一輸入和相應(yīng)第二輸入；和

在所述多個訓練數(shù)據(jù)對上訓練神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括，對于每個訓練數(shù)據(jù)對：

根據(jù)編碼器神經(jīng)網(wǎng)絡(luò)的參數(shù)的當前值，使用編碼器神經(jīng)網(wǎng)絡(luò)來處理(i)該訓練數(shù)據(jù)對的相應(yīng)第一輸入和(ii)該訓練數(shù)據(jù)對的相應(yīng)第二輸入，以生成該訓練數(shù)據(jù)對的相應(yīng)第一輸入的編碼表示；

根據(jù)第一解碼器神經(jīng)網(wǎng)絡(luò)的參數(shù)的當前值，使用第一解碼器神經(jīng)網(wǎng)絡(luò)來處理(i)該訓練數(shù)據(jù)對的相應(yīng)第一輸入的編碼表示和(ii)該訓練數(shù)據(jù)對的相應(yīng)第二輸入或該訓練數(shù)據(jù)對的相應(yīng)第三輸入，以生成該訓練數(shù)據(jù)對的相應(yīng)第一輸入的第一估計重構(gòu)，其中(i)該訓練數(shù)據(jù)對的相應(yīng)第二輸入是從該訓練數(shù)據(jù)對的相應(yīng)第三輸入得到的，(ii)該訓練數(shù)據(jù)對的相應(yīng)第三輸入是從該訓練數(shù)據(jù)對的相應(yīng)第二輸入得到的，或者(iii)該訓練數(shù)據(jù)對的相應(yīng)第二輸入和該訓練數(shù)據(jù)對的相應(yīng)第三輸入兩者都是使用公共過程得到的，以便彼此互補；

獲得該訓練數(shù)據(jù)對的相應(yīng)第一輸入的第二估計重構(gòu)，該第二估計重構(gòu)由第二解碼器神經(jīng)網(wǎng)絡(luò)根據(jù)第二解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)、通過處理該訓練數(shù)據(jù)對的相應(yīng)第一輸入的編碼表示而不處理該訓練數(shù)據(jù)對的相應(yīng)第二輸入來生成；和

基于相應(yīng)第一輸入、相應(yīng)第一輸入的第一估計重構(gòu)和相應(yīng)第一輸入的第二估計重構(gòu)，調(diào)整編碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)和第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)。

2.根據(jù)權(quán)利要求1所述的計算機實施的方法，其中訓練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括，對于每個訓練數(shù)據(jù)對，由第一解碼器神經(jīng)網(wǎng)絡(luò)通過根據(jù)第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)處理(i)該訓練數(shù)據(jù)對的相應(yīng)第一輸入的編碼表示和(ii)該訓練數(shù)據(jù)對的相應(yīng)第二輸入，來生成該訓練數(shù)據(jù)對的相應(yīng)第一輸入的第一估計重構(gòu)。

3.根據(jù)權(quán)利要求1所述的計算機實施的方法，其中訓練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括，對于每個訓練數(shù)據(jù)對，由第一解碼器神經(jīng)網(wǎng)絡(luò)通過根據(jù)第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)處理(i)該訓練數(shù)據(jù)對的相應(yīng)第一輸入的編碼表示和(ii)與相應(yīng)第二輸入相對應(yīng)的該訓練數(shù)據(jù)對的相應(yīng)第三輸入，來生成該訓練數(shù)據(jù)對的相應(yīng)第一輸入的第一估計重構(gòu)。

4.根據(jù)權(quán)利要求1-3中任一項所述的計算機實施的方法，其中編碼器神經(jīng)網(wǎng)絡(luò)包括一個或多個全連接層、接著是一個或多個卷積層。

5.根據(jù)權(quán)利要求1-4中任一項所述的計算機實施的方法，其中第一解碼器神經(jīng)網(wǎng)絡(luò)包括一個或多個全連接層、接著是一個或多個卷積層。

6.根據(jù)權(quán)利要求1-5中任一項所述的計算機實施的方法，包括基于(i)來自訓練數(shù)據(jù)對的相應(yīng)第一輸入和由第一解碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)生成的相應(yīng)第一輸入的估計重構(gòu)之間的差或者(ii)來自訓練數(shù)據(jù)對的相應(yīng)第一輸入和由第二解碼器神經(jīng)網(wǎng)絡(luò)系統(tǒng)生成的相應(yīng)第一輸入的估計重構(gòu)之間的差中的至少一個，來調(diào)整編碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)和第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)。

7.根據(jù)權(quán)利要求1-6中任一項所述的計算機實施的方法，包括使用隨機梯度下降調(diào)整編碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)和第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)。

8.根據(jù)權(quán)利要求1-7中任一項所述的計算機實施的方法，其中訓練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括，對于每個訓練數(shù)據(jù)對，調(diào)整編碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)和第一解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)，而不調(diào)整第二解碼器神經(jīng)網(wǎng)絡(luò)的當前參數(shù)。