[發明專利]基于平面先驗的深度圖生成方法、裝置、設備及存儲介質

在審

• 申請號: 202210127177.2
• 申請日: 2022-02-11
• 公開（公告）號: CN114494395A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 田澤藩;暴林超;張浩賢
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T17/20;G06T7/73;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 王寧寧

本申請公開了一種基于平面先驗的深度圖生成方法、裝置、設備及存儲介質，涉及圖像處理技術領域，用于提升圖像深度估計的準確性，該方法包括：獲取基于不同視角拍攝的目標場景的多個場景圖像，并對多個場景圖像中的參考視角圖像進行平面檢測，獲得參考視角圖像中的平面信息；其中，平面信息用于指示屬于同一平面的像素點；基于多個場景圖像之間的像素特征關聯度，從參考視角圖像包括的各個像素點中，確定出像素特征關聯度滿足設定關聯條件的參考像素點集合；基于平面信息以及參考像素點集合，獲得參考視角圖像的平面先驗條件；以平面先驗條件為約束，基于多個場景圖像之間的像素特征關聯度，獲得參考視角圖像的深度圖。

技術領域

本申請涉及人工智能(Artificial Intelligence，AI)技術領域，尤其涉及圖像處理技術領域，提供一種基于平面先驗的深度圖生成方法、裝置、設備及存儲介質。

背景技術

深度估計(Depth Estimation)，是利用單張圖像或者多張不同視角下的圖像，來估計圖像中每個像素相對拍攝源的距離的過程，深度估計是3維(3D)場景重建任務的關鍵步驟，在計算機視覺領域中屬于非常重要的一部分，在虛擬現實(Virtual Reality，VR)或者增強現實(Augmented Reality，AR)等場景中有著非常重要的應用。

多視圖立體匹配(Patch match Multi-View Stereo，Patch match MVS)技術是一種從已知相機內外參數的多個視角的彩色影像中，利用立體匹配算法恢復立體結構的三維視覺技術，對于深度估計而言已經能夠獲得較為不錯的效果。

但是，在弱紋理區域，由于該區域內像素點區別較小，導致在這些區域像素不能很可靠的被區分，使得無法準確的估計出深度值，因此相關技術在弱紋理區域的深度估計效果較差。

發明內容

本申請實施例提供一種基于平面先驗的深度圖生成方法、裝置、設備及存儲介質，用于提升圖像深度估計的準確性。

一方面，提供一種基于平面先驗的深度圖生成方法，所述方法包括：

獲取基于不同視角拍攝的目標場景的多個場景圖像，并對所述多個場景圖像中的參考視角圖像進行平面檢測，獲得所述參考視角圖像中的平面信息；其中，所述平面信息用于指示所述屬于同一平面的像素點：

基于所述多個場景圖像之間的像素特征關聯度，從所述參考視角圖像包括的各個像素點中，確定出像素特征關聯度滿足設定關聯條件的參考像素點集合；

基于所述平面信息以及所述參考像素點集合，獲得所述參考視角圖像的平面先驗條件；

以所述平面先驗條件為約束，基于所述多個場景圖像之間的像素特征關聯度，獲得所述參考視角圖像的深度圖。

一方面，一種基于上述方法的三維建模方法，所述方法包括：

獲取基于不同視角拍攝的目標場景的多個場景圖像，并采用上述方法，獲得所述多個場景圖像各自對應的深度圖；

基于獲得的各個深度圖，獲得所述目標場景對應的三維立體圖。

一方面，一種基于上述方法的自動駕駛方法，所述方法包括：

獲取基于不同視角拍攝的目標場景的多個場景圖像，并采用上述方法，獲得所述多個場景圖像各自對應的深度圖；

基于獲得的各個深度圖，確定目標車輛周圍的障礙物距離，并基于獲得的各個障礙物距離執行自動駕駛。

一方面，提供一種基于平面先驗的深度圖生成裝置，所述裝置包括：

平面檢測單元，用于獲取基于不同視角拍攝的目標場景的多個場景圖像，并對所述多個場景圖像中的參考視角圖像進行平面檢測，獲得所述參考視角圖像中的平面信息；其中，所述平面信息用于指示所述屬于同一平面的像素點；