[發明專利]圖像處理方法及裝置、電子設備和存儲介質

有效

• 申請號: 201911316116.5
• 申請日: 2019-12-19
• 公開（公告）號: CN113012052B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 鮑虎軍;王銳;章國峰;盛崇山;李佰余
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/33;G06T9/00
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質，所述方法包括：獲得第一全景圖像；對第一全景圖像進行全景估計處理，獲得第二全景圖像。根據本公開的實施例的圖像處理方法，可將不完整的第一全景圖像重構成為完整的第二全景圖像，獲得完整的光照信息，可用于對虛擬對象的逆向繪制。并且，無需使用其他設備，減少人工參與，提高光照信息的精度。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和存儲介質。

背景技術

從圖像或視頻中推斷場景的光照信息在諸如增強現實等逆向繪制應用中具有關鍵作用，需要使用預測的光照信息來對插入的虛擬對象的進行繪制，并準確地表達該虛擬對象的亮度信息。

相關技術中，可分為借助輔助設備確定光照信息。例如，通過借助于放在場景中的一些已知幾何或材質表面反射屬性的球體，算法能夠根據球表面信息和法線方向更方便地推測場景中的光照情況；或者借助一些特殊的設備，比如魚眼相機，光場相機等拍攝設備，能夠輕松捕獲更大范圍的光分布信息；又或者拍攝一系列不同曝光度的圖像來快速得到高動態的場景光照信息，但借助輔助設備成本較高，且通常需要人工參與，精度較低。

發明內容

本公開提出了一種圖像處理方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種圖像處理方法，包括：

獲得第一全景圖像，所述第一全景圖像為預設尺寸的不完整的全景圖像；

對所述第一全景圖像進行全景估計處理，獲得第二全景圖像，其中，所述第二全景圖像為所述預設尺寸的完整的全景圖像。

根據本公開的實施例的圖像處理方法，可將不完整的第一全景圖像重構成為完整的第二全景圖像，獲得完整的光照信息，可用于對虛擬對象的逆向繪制。并且，無需使用其他設備，減少人工參與，提高光照信息的精度。

在一種可能的實現方式中，將所述第一全景圖像進行全景估計處理，獲得第二全景圖像，包括：

將所述第一全景圖像進行編碼處理，獲得隱空間圖像；

將所述隱空間圖像進行隱空間補全處理，獲得隱空間全景圖像；

將所述隱空間全景圖像進行解碼處理，獲得所述第二全景圖像。

通過這種方式，可對第一全景圖像在隱空間中進行補全并解碼，可準確地估計空白區域中的信息，獲得完整的第二全景圖像。

在一種可能的實現方式中，將所述第一全景圖像進行編碼處理，獲得隱空間圖像，包括：

將所述第一全景圖像進行分割處理，獲得多個第一圖像塊；

將包括有效像素點的第一圖像塊進行編碼處理，獲得所述隱空間圖像。

在一種可能的實現方式中，獲得第一全景圖像，包括：

對多個第一圖像進行融合處理，獲得第一全景圖像，其中，所述多個第一圖像包括所述圖像獲取裝置拍攝的目標場景的圖像。

在一種可能的實現方式中，對多個第一圖像進行融合處理，獲得第一全景圖像，包括：

分別對各所述第一圖像進行特征點提取處理，獲得各所述第一圖像中的特征點；

根據所述第一圖像中的特征點，對所述多個第一圖像進行融合處理，獲得所述第一全景圖像。

通過這種方式，可通過特征點來識別和去除第一圖像之間的冗余區域，獲得準確的第一全景圖像，提高對第一全景圖像的處理效率。

在一種可能的實現方式中，所述方法還包括：

通過所述圖像獲取裝置針對同一場景獲取多個曝光時間的第二圖像；