[發(fā)明專利]使用神經(jīng)網(wǎng)絡(luò)的場(chǎng)景理解和生成

在審

• 申請(qǐng)?zhí)枺?/td>: 201780077072.8
• 申請(qǐng)日: 2017-11-04
• 公開(kāi)（公告）號(hào): CN110168560A
• 公開(kāi)（公告）日: 2019-08-23
• 發(fā)明（設(shè)計(jì)）人: D.J.雷贊德;S.M.埃斯拉米;K.格雷戈?duì)?/a>;F.O.貝塞
• 申請(qǐng)（專利權(quán)）人: 淵慧科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T15/20;G06T17/00;G06N3/04
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 金玉潔

1.一種方法，包括：

接收表征特定場(chǎng)景的多個(gè)觀察，每個(gè)觀察包括特定場(chǎng)景的圖像和識(shí)別捕獲圖像的相機(jī)的位置的數(shù)據(jù)；

使用觀察神經(jīng)網(wǎng)絡(luò)處理所述多個(gè)觀察中的每一個(gè)，其中，觀察神經(jīng)網(wǎng)絡(luò)被配置為對(duì)于觀察中的每一個(gè)：

處理觀察以生成觀察的低維表示；

通過(guò)組合觀察的低維表示來(lái)確定特定場(chǎng)景的數(shù)字表示；以及

提供所述特定場(chǎng)景的數(shù)字表示，用于表征所述特定場(chǎng)景的內(nèi)容。

2.如權(quán)利要求1所述的方法，其中，所述數(shù)字表示是表示所述特定場(chǎng)景的基礎(chǔ)內(nèi)容的數(shù)值的集合。

3.如權(quán)利要求1或2中任一項(xiàng)所述的方法，其中，所述數(shù)字表示是所述特定場(chǎng)景的語(yǔ)義描述。

4.如權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，組合所述觀察的低維表示包括：

對(duì)低維表示求和以生成數(shù)字表示。

5.如權(quán)利要求1-4中任一項(xiàng)所述的方法，還包括：

接收識(shí)別新相機(jī)位置的數(shù)據(jù)；以及

使用生成器神經(jīng)網(wǎng)絡(luò)處理識(shí)別新相機(jī)位置的數(shù)據(jù)和所述特定場(chǎng)景的數(shù)字表示，以生成從新相機(jī)位置處的相機(jī)拍攝的所述特定場(chǎng)景的新圖像。

6.如權(quán)利要求5所述的方法，其中，所述生成器神經(jīng)網(wǎng)絡(luò)被配置為：

在多個(gè)時(shí)間步長(zhǎng)中的每一個(gè)處：

采樣時(shí)間步長(zhǎng)的一個(gè)或多個(gè)潛在變量，以及

通過(guò)使用深度卷積神經(jīng)網(wǎng)絡(luò)處理隱藏狀態(tài)、采樣的潛在變量、數(shù)字表示和識(shí)別新相機(jī)位置的數(shù)據(jù)，更新時(shí)間步長(zhǎng)為止的隱藏狀態(tài)，以生成更新的隱藏狀態(tài)；以及

在所述多個(gè)時(shí)間步長(zhǎng)中的最后的時(shí)間步長(zhǎng)之后：

在最后的時(shí)間步長(zhǎng)之后，從更新的隱藏狀態(tài)生成所述特定場(chǎng)景的新圖像。

7.如權(quán)利要求6所述的方法，其中，在最后的時(shí)間步長(zhǎng)之后，從更新的隱藏狀態(tài)生成特定場(chǎng)景的新圖像包括：

在最后的時(shí)間步長(zhǎng)之后，從更新的隱藏狀態(tài)生成像素足夠的統(tǒng)計(jì)；以及

使用像素足夠的統(tǒng)計(jì)對(duì)新圖像中的像素的顏色值進(jìn)行采樣。

8.如權(quán)利要求6或7中任一項(xiàng)所述的方法，其中，所述生成器神經(jīng)網(wǎng)絡(luò)和所述觀察神經(jīng)網(wǎng)絡(luò)已經(jīng)與后驗(yàn)神經(jīng)網(wǎng)絡(luò)聯(lián)合訓(xùn)練，所述后驗(yàn)神經(jīng)網(wǎng)絡(luò)被配置為在訓(xùn)練期間接收多個(gè)訓(xùn)練觀察和目標(biāo)觀察，并且生成定義所述一個(gè)或多個(gè)潛在變量上的分布的后驗(yàn)輸出。

9.如權(quán)利要求1-8中任一項(xiàng)所述的方法，其中，所述觀察神經(jīng)網(wǎng)絡(luò)已被訓(xùn)練以生成數(shù)字表示，所述數(shù)字表示與特定相機(jī)位置結(jié)合，可由生成器神經(jīng)網(wǎng)絡(luò)使用以生成從特定相機(jī)位置拍攝的特定場(chǎng)景的特定圖像的重建。

10.一種方法，包括：

接收表征特定視頻的多個(gè)觀察，每個(gè)觀察包括來(lái)自特定視頻的視頻幀和識(shí)別特定視頻中視頻幀的時(shí)間戳的數(shù)據(jù)；

使用觀察神經(jīng)網(wǎng)絡(luò)處理所述多個(gè)觀察中的每一個(gè)，其中，觀察神經(jīng)網(wǎng)絡(luò)被配置為對(duì)于觀察中的每一個(gè)：

處理觀察以生成觀察的低維表示；

通過(guò)組合觀察的低維表示來(lái)確定特定視頻的數(shù)字表示；

提供所述特定視頻的數(shù)字表示，用于表征所述特定視頻的內(nèi)容。

11.如權(quán)利要求10所述的方法，其中，所述數(shù)字表示是表示所述特定視頻的基礎(chǔ)內(nèi)容的數(shù)值的集合。

12.如權(quán)利要求10或11中任一項(xiàng)所述的方法，其中，所述數(shù)字表示是所述特定視頻的語(yǔ)義描述。

13.如權(quán)利要求10-12中任一項(xiàng)所述的方法，其中，組合所述觀察的低維表示包括：

對(duì)低維表示求和以生成數(shù)字表示。

14.如權(quán)利要求10-13中任一項(xiàng)所述的方法，還包括：

接收識(shí)別新時(shí)間戳的數(shù)據(jù)；以及

使用生成器神經(jīng)網(wǎng)絡(luò)處理識(shí)別新時(shí)間戳的數(shù)據(jù)和特定視頻的數(shù)字表示，以生成在特定視頻中的新時(shí)間戳處的新視頻幀。