[發(fā)明專利]單視圖深度預(yù)測的光圈監(jiān)督

有效

• 申請?zhí)枺?/td>: 201780096474.2
• 申請日: 2017-11-03
• 公開（公告）號: CN111316123B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 尼爾·瓦德瓦;喬納森·巴龍;拉胡爾·加爾格;普拉圖爾·斯里尼瓦桑
• 申請（專利權(quán)）人: 谷歌有限責任公司
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種用于對人工神經(jīng)網(wǎng)絡(luò)進行訓練以基于圖像來生成深度圖的方法，包括：

獲得多個圖像，其中，所述多個圖像中的至少兩個圖像的集合描述共同場景，其中，所述至少兩個圖像的集合包括具有第一景深的源圖像和具有第二景深的目標圖像，其中，所述第二景深小于所述第一景深；

使用人工神經(jīng)網(wǎng)絡(luò)基于所述源圖像來確定所述共同場景的深度圖；

基于所確定的所述共同場景的深度圖，確定基于所述源圖像的預(yù)測圖像，使得所述預(yù)測圖像具有與所述第二景深相對應(yīng)的景深；

確定所述預(yù)測圖像和所述目標圖像之間的差異；

基于所確定的差異來更新所述人工神經(jīng)網(wǎng)絡(luò)；

獲得興趣場景的圖像；以及

使用所更新的人工神經(jīng)網(wǎng)絡(luò)基于所述興趣場景的所述圖像來生成所述興趣場景的深度圖。

2.根據(jù)權(quán)利要求1所述的方法，其中，基于所述深度圖確定基于所述源圖像的預(yù)測圖像包括：使用可微分光圈渲染函數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其中，使用所述可微分光圈渲染函數(shù)來確定所述預(yù)測圖像包括：

基于所述源圖像來確定估計的光場；以及

基于所述深度圖，剪切并投影所述估計的光場以確定所述預(yù)測圖像。

4.根據(jù)權(quán)利要求1所述的方法，其中，使用所述人工神經(jīng)網(wǎng)絡(luò)基于所述源圖像來確定所述共同場景的深度圖包括：

使用所述人工神經(jīng)網(wǎng)絡(luò)基于所述源圖像來確定深度值的集合，其中，所述深度值的集合中的每個深度值與所述源圖像內(nèi)的相應(yīng)位置相對應(yīng)；和

對所述深度值的集合進行上采樣以生成所述共同場景的深度圖。

5.根據(jù)權(quán)利要求4所述的方法，其中，對所述深度值的集合進行上采樣以生成所述共同場景的深度圖包括：使用雙邊方法基于所述源圖像來對所述深度值的集合進行上采樣。

6.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，所述目標圖像是第一目標圖像，其中，所述預(yù)測圖像是第一預(yù)測圖像，其中，所確定的差異是第一確定的差異，其中，所述至少兩個圖像的集合進一步包括：具有第三景深的第二目標圖像，其中，所述第三景深不同于所述第二景深并且小于所述第一景深，所述方法進一步包括：

基于所確定的所述共同場景的深度圖，確定基于所述源圖像的第二預(yù)測圖像，使得所述第二預(yù)測圖像具有與所述第三景深相對應(yīng)的景深；以及

確定所述第二預(yù)測圖像和所述第二目標圖像之間的第二差異，其中，更新所述人工神經(jīng)網(wǎng)絡(luò)包括基于所述第二差異來更新所述人工神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，獲得描述所述共同場景的所述至少兩個圖像的集合包括：

使用光場相機捕獲來自所述共同場景的光場；

基于所捕獲的光場來生成所述源圖像，使得所述源圖像具有所述第一景深；以及

基于所捕獲的光場來生成所述目標圖像，使得所述目標圖像具有所述第二景深。

8.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，獲得描述所述共同場景的所述至少兩個圖像的集合包括：

使用被設(shè)置為第一光圈設(shè)置的相機捕獲所述源圖像；以及

使用被設(shè)置為第二光圈設(shè)置的相機捕獲所述目標圖像，其中，所述第二光圈設(shè)置比所述第一光圈設(shè)置寬。

9.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，獲得所述興趣場景的所述圖像包括：操作蜂窩電話以捕獲所述興趣場景的所述圖像，所述方法進一步包括：

從服務(wù)器向所述蜂窩電話傳輸對所更新的人工神經(jīng)網(wǎng)絡(luò)的指示，其中，使用所更新的人工神經(jīng)網(wǎng)絡(luò)基于所述興趣場景的所述圖像來生成所述興趣場景的深度圖包括：所述蜂窩電話的處理器使用所更新的人工神經(jīng)網(wǎng)絡(luò)生成所述興趣場景的深度圖。

10.根據(jù)權(quán)利要求1至5中的任一項所述的方法，進一步包括：

基于所確定的所述興趣場景的深度圖來對所述興趣場景的所述圖像執(zhí)行圖像處理。