[發明專利]單視圖深度預測的光圈監督

有效

• 申請號: 201780096474.2
• 申請日: 2017-11-03
• 公開（公告）號: CN111316123B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 尼爾·瓦德瓦;喬納森·巴龍;拉胡爾·加爾格;普拉圖爾·斯里尼瓦桑
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

示例實施例允許對人工神經網絡(ANN)的訓練以基于圖像來生成深度圖。ANN基于多個圖像的集合來被訓練，其中，每個圖像的集合表示單個場景，并且這樣的圖像的集合中的圖像關于圖像光圈和/或焦距不同。未訓練的ANN基于圖像的集合中的一個或多個圖像來生成深度圖。該深度圖用于使用集合中的圖像來生成關于圖像光圈和/或焦距與集合中的圖像中的一個相對應的預測圖像。預測圖像和對應圖像之間的差異被用于更新ANN。以這種方式訓練的ANN尤其適用于生成深度圖，該深度圖用于對小光圈圖像執行模擬圖像模糊。

背景技術

存在多種方法來確定圖像的深度圖。這樣的深度圖可以描述圖像內的對象和/或區域的深度，例如，這些對象與用于捕獲或生成圖像的相機的距離。在一些示例中，距離傳感器(例如，雷達、激光雷達、超聲測距系統)可以用于提供用于確定深度圖的信息。在其他示例中，可以使用多個相關圖像(例如，立體圖像對的左圖像和右圖像)來確定深度圖。

發明內容

可以經由各種方法從單個圖像中確定深度圖。這可以包括例如基于圖像內存在的視覺提示，將單個圖像應用于人工神經網絡(ANN)或其他算法以生成深度圖。然后可以使用深度圖來促進各種應用，例如導航，對源圖像應用基于距離的模糊或其他濾波或其他應用。

可以根據各種過程來開發用于從單個圖像生成深度圖的ANN(或其他算法)。本公開提供了用于基于自然場景的圖像的集合來訓練ANN的方法。每個圖像的集合包括以相應不同的光圈和/或焦距拍攝的共同場景的兩個或更多個圖像。將共同場景的源圖像(例如，全部聚焦圖像或具有大景深的一些其他圖像)應用于ANN以生成預測深度圖。然后，預測深度圖被用于基于源圖像，生成預測圖像，該預測圖像關于焦距、光圈或一些其他光學屬性與來自共同場景的圖像的集合中的另一圖像(例如目標圖像)相對應。然后可以使用預測圖像和目標圖像之間的差異來訓練ANN(例如，通過使用差異作為誤差信號以通過反向傳播來更新ANN)。

這種更新過程可以基于多個圖像的集合被執行多次，以生成ANN。然后可以使用這種訓練的ANN(例如，通過手機的處理器)來從自然場景的單個圖像(例如，室內或室外環境中的人、動物、植物或其他對象的圖像)中確定深度圖。ANN的輸出可以是稀疏的，或者以其他方式具有比目標分辨率(例如，與輸入圖像的分辨率匹配的分辨率)低的分辨率。在這種示例中，可以對ANN的輸出進行上采樣以提供更高分辨率的深度圖。這種上采樣可以包括使用插值、雙邊方法或一些其他方法來生成更高分辨率的深度圖。使用雙邊方法對深度圖進行上采樣可以包括生成與較低分辨率的深度圖中表示的深度相對應的較高分辨率的深度圖，使得較高分辨率的深度圖可以顯現與輸入圖像內的對象邊緣或其他特征相對應的銳利邊緣或其他銳利特征。

生成預測圖像可以包括應用光圈渲染函數以通過模擬更寬的光圈、不同的焦距或源圖像上的一些其他改變的影響來生成預測圖像。例如，光圈渲染函數可以操作以使源圖像彎曲以確定對產生源圖像的光場的估計，然后剪切和投影估計的光場以生成預測圖像。光圈渲染函數可能是可微分的，以促進反向傳播或其他ANN訓練技術。

在一些實施例中，可以在特定場景的單個圖像的集合上訓練ANN，以為生成該場景的圖像中的一個(或多個)的深度圖。例如，根據本公開的方法，可以使用具有相應不同焦距的場景的淺景深圖像的集合來訓練深度預測ANN(例如，自動編碼器網絡)和場景(例如，圖像的集合中的一個)的深度圖兩者。

本文公開的方法允許圖像的訓練集合用于訓練深度預測的人工神經網絡，而不需要關于訓練集合中的圖像內的深度的“地面真值(ground?truth)”的信息。此外，可以獲得圖像而無需復雜的多透視角設置(例如，使用立體圖像對進行訓練)。替代地，例如，通過以不同焦距和/或光圈設置拍攝多個圖像，或者通過使用光場相機來捕獲關于從場景接收的光場的信息，可以使用單個圖像捕獲設備從單個視點觀察場景來獲得用于這種訓練集合的圖像。因此，該方法解決了與用于訓練深度預測的人工神經網絡的需要復雜的多透視角設置和/或昂貴的、低分辨率深度感測設置的現有技術相關聯的問題。訓練的深度預測神經網絡可用于從單個圖像中生成深度信息。