[發明專利]基于平面先驗的深度圖生成方法、裝置、設備及存儲介質

在審

• 申請號: 202210127177.2
• 申請日: 2022-02-11
• 公開（公告）號: CN114494395A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 田澤藩;暴林超;張浩賢
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T17/20;G06T7/73;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 王寧寧

1.一種基于平面先驗的深度圖生成方法，其特征在于，所述方法包括：

獲取基于不同視角拍攝的目標場景的多個場景圖像，并對所述多個場景圖像中的參考視角圖像進行平面檢測，獲得所述參考視角圖像中的平面信息；其中，所述平面信息用于指示所述屬于同一平面的像素點；

基于所述多個場景圖像之間的像素特征關聯度，從所述參考視角圖像包括的各個像素點中，確定出像素特征關聯度滿足設定關聯條件的參考像素點集合；

基于所述平面信息以及所述參考像素點集合，獲得所述參考視角圖像的平面先驗條件；

以所述平面先驗條件為約束，基于所述多個場景圖像之間的像素特征關聯度，獲得所述參考視角圖像的深度圖。

2.如權利要求1所述的方法，其特征在于，基于所述平面信息以及所述參考像素點集合，獲得所述參考視角圖像的平面先驗條件，包括：

基于所述參考像素點集合，采用三角網剖分方法進行平面擬合處理，獲得三角網狀結構，所述三角網狀結構中的每個三角平面包括所述參考像素點集合中的三個參考像素點；

基于所述平面信息，對所述三角網狀結構中位于同一平面的參考像素點所對應的三角平面進行合并處理，獲得合并后的三角網狀結構；

基于所述合并后的三角網狀結構，獲得所述平面先驗條件。

3.如權利要求1所述的方法，其特征在于，基于所述平面信息以及所述參考像素點集合，獲得所述參考視角圖像的平面先驗條件，包括：

基于所述平面信息，確定所述參考像素點集合中屬于同一平面的多個參考像素點組，每個參考像素點組包括至少一個參考像素點；

對獲得的多個參考像素點組分別進行平面擬合處理，獲得由相應的多個擬合平面組成的平面組合結構；其中，每個參考像素點組對應所述多個擬合平面中的一個擬合平面；

基于所述平面組合結構，獲得所述平面先驗條件。

4.如權利要求1所述的方法，其特征在于，采用平面檢測方法對目標視角對應的參考視角圖像進行平面檢測，獲得所述參考視角圖像中的平面信息，包括：

對所述參考視角圖像進行圖像語義分割，獲取所述參考視角圖像中各個平面區域各自對應的平面掩膜；

對參考視角圖像進行深度估計處理，獲取參考視角圖像的估算深度圖；

基于估算深度圖，對平面掩膜進行更新處理，以獲得參考視角圖像的平面信息。

5.如權利要求1～4任一所述的方法，其特征在于，基于所述多個場景圖像之間的像素特征關聯度，從所述參考視角圖像包括的各個像素點中，確定出像素特征關聯度滿足設定關聯條件的參考像素點集合，包括：

針對所述各個像素點，分別執行如下步驟：

針對一個像素點，確定所述一個像素點在所述參考視角圖像中的立體匹配區域，每個立體匹配區域包括以所述一個像素點為基準點的設定范圍的圖像區域；

分別確定所述立體匹配區域在其他場景圖像中的映射區域，與所述立體匹配區域之間的像素特征關聯度；其中，所述其他場景圖像為所述多個場景圖像中除所述參考視角圖像之外的場景圖像；

從所述各個像素點中，確定出像素特征關聯度滿足設定關聯條件的參考像素點集合。

6.如權利要求5所述的方法，其特征在于，在分別確定所述立體匹配區域在其他場景圖像中的映射區域，與所述立體匹配區域之間的像素特征關聯度之前，所述方法還包括：

對所述各個像素點分別進行參數初始化，獲得所述各個像素點各自對應的初始視差平面參數；

基于所述參考視角圖像與所述其他場景圖像中對應區域的像素特征關聯度，對所述各個像素點各自對應的初始視差平面參數分別進行多次迭代更新過程，獲得所述各個像素點各自對應的估計視差平面參數；

基于獲得的各個估計視差平面參數，確定所述各個像素點各自對應的立體匹配區域，在所述其他場景圖像中的映射區域。