[發明專利]深度圖優化方法及裝置、系統、電子設備、存儲介質

有效

• 申請號: 202110365727.X
• 申請日: 2021-04-06
• 公開（公告）號: CN112750098B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 徐永奎;鄭靈杰;孫樂韻;齊偉
• 申請（專利權）人: 杭州藍芯科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/514;G06T7/55;G06T7/80
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 應孔月

本發明公開了一種深度圖優化方法及裝置、系統、電子設備、存儲介質，該方法包括：采集深度傳感器獲取的目標空間的深度圖；采集偏振傳感器獲取的目標空間的偏振圖；根據所述偏振圖，獲取目標面的法向量；將所述深度圖映射到所述偏振圖上，根據所述法向量，對所述深度圖進行代價計算和聚合，獲取優化的深度圖。將深度傳感器和偏振傳感器結合，通過將深度信息與偏振信息（法向量信息）融合，經代價聚合進而實現深度圖的濾波和精度提升。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種深度圖優化方法及裝置、系統、電子設備、存儲介質。

背景技術

深度相機可以用來感知環境的三維深度信息，因此被廣泛應用于移動機器人導航，航天、航空，增強現實，測繪等領域。目前深度相機領域分為以結構光深度相機和飛行時間深度相為代表的主動式深度相機和以雙目相機為代表的被動式深度相機。相比于被動式深度相機，主動式深度相機不需要大量計算就可以獲取真實環境的距離信息，并且獲取的距離信息更為可靠。

目前主動式深度相機主要分為光飛行時間深度相機和結構光深度相機。以光飛行時間深度相機為例，光飛行時間深度相機主要存在空間感知精度偏低，一般在cm級別，提高感知精度的主要方法包括提高調制頻率和多圖優化上，提高調制頻率目前最高也只能做到mm級別，在某些場景下的應用還是受限，而多圖優化存在的最大問題就是出圖的實時性大打折扣。

發明內容

本申請實施例的目的是提供一種深度圖優化方法及裝置、系統、電子設備、存儲介質，以解決相關技術中存在的深度優化精度有限，出圖實時性差的問題。

根據本申請實施例的第一方面，提供一種深度圖優化方法，包括：采集深度傳感器獲取的目標空間的深度圖；采集偏振傳感器獲取的目標空間的偏振圖；根據所述偏振圖，獲取目標面的法向量；將所述深度圖映射到所述偏振圖上，根據所述法向量，對所述深度圖進行代價計算和聚合，獲取優化的深度圖。

進一步地，將所述深度圖映射到所述偏振圖上，包括：

計算所述深度傳感器坐標系到偏振傳感器坐標系的轉換矩陣；

通過所述轉換矩陣將深度圖映射到所述偏振圖上。

進一步地，所述轉換矩陣為：

其中（、、）為偏振圖的像素坐標，（、、）為深度圖的像素坐標， W是一個4×4的轉換矩陣。

進一步地，所述代價計算的函數為：

其中，是一個二元算子，是的K-T轉換，是深度圖，是目標空間的法向量圖，代價聚合的過程就是優化過程，使得計算得到的法向量與的法向量最接近。

根據本申請實施例的第二方面，提供一種深度圖優化裝置，包括：第一采集模塊，用于采集深度傳感器獲取的目標空間的深度圖；第二采集模塊，用于采集偏振傳感器獲取的目標空間的偏振圖；獲取模塊，用于根據所述偏振圖，獲取目標面的法向量；計算模塊，用于將所述深度圖映射到所述偏振圖上，根據所述法向量，對所述深度圖進行代價計算和聚合，獲取優化的深度圖。

根據本申請實施例的第三方面，提供一種深度圖優化系統，包括：深度傳感器，用于采集目標空間的深度圖；偏振檢測傳感器，用于采集目標空間的偏振圖，并根據所述偏振圖計算目標面的法向向量；計算模塊，用于控制所述深度傳感器和偏振檢測傳感器工作，并將所述深度圖映射到所述偏振圖上，根據所述法向量，對所述深度圖進行代價計算和聚合，獲取優化的深度圖。

進一步地，所述深度傳感器主要由主動光發射模塊、深度傳感模塊和深度控制模塊構成，所述主動光發射模塊用于向外發射光線，投射在目標物體上；所述深度傳感模塊用于接收若干由目標物體反射的光線信號；所述深度控制模塊用于控制深度傳感模塊和主動光發射模塊進行深度感知。