[發明專利]深度測量方法、雙目立體視覺系統、裝置及存儲介質

在審

• 申請號: 202210174111.9
• 申請日: 2022-02-24
• 公開（公告）號: CN114519713A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 周凡
• 申請（專利權）人: 銀牛微電子（無錫）有限責任公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/50
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 高彥

本公開實施例中提供深度測量方法、雙目立體視覺系統、裝置及存儲介質，基于原始圖像對分別執行第一優化處理和第二優化處理以得到第一優化圖像對和第二優化圖像對；其中，第一優化處理和第二優化處理為用于縮減被處理圖像在圖像水平方向上像素的不同圖像處理方式；基于第一優化圖像對執行立體匹配并計算得到第一深度圖；以及，基于第二優化圖像對執行立體匹配并計算得到第二深度圖像；基于深度測量質量結果對第一深度圖像和第二深度圖像進行合成以得到目標深度圖像。通過對雙目立體系統攝取的原始圖像對采用減少縮減視差的多路優化處理后立體匹配得到深度圖像并合成，降低視差影響以提升立體匹配成功率，提升探測能力。

技術領域

本公開涉及圖像處理技術領域，尤其涉及深度測量方法、雙目立體視覺系統、裝置及存儲介質。

背景技術

目前，機器視覺技術在各種領域已有廣泛應用，例如智能機器人、智能工業設備、自動駕駛等。相關技術中的測距方案包括如激光測距、超聲波測距、飛行時間法(ToF)測距、雙目立體視覺測距及雷達測距等。其中，有的方案又可分為主動測距和被動測距。

雙目立體視覺是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字圖像，并基于視差原理恢復出物體的三維幾何信息，重建物體三維輪廓及位置。具有效率高、精度合適、系統結構簡單、成本低等優點。

雙目立體視覺測距方案具體又可分為主動測距和被動測距。

如圖1A所示，示意性地展示了一種基于雙目立體視覺的主動測距方案的原理示意圖。在此該方案中，應用紅外光投影儀101在被測物體投射預設的光斑圖案，例如將分布較密集的均勻光柵投影到被測物體，進而通過左、右雙攝像頭102、103對被測物體分別拍攝圖像，并結合左、右雙攝像頭之間的幾何關系，以計算得到被測物體104的各個被測點之間的高度差和深度信息。其優點是計算簡單，測量精度較高，對于平坦的、無明顯紋理和形狀變化的表面區域都可進行精密的測量。

如圖1B所示，示意性地展示了基于雙目立體視覺的被動測距方案的原理示意圖。與圖1A區別在于省略紅外投影儀，通過左、右攝像頭102、103拍攝圖像，并利用光學三角原理，根據幾何關系來確定空間中物體104各點的深度信息。被動雙目立體視覺方案常用于粗糙或具有顯著紋理信息的物體的測距。

無論是主動測距或被動測距，在其計算深度信息之前都需要執行立體匹配。具體來說，雙目攝像頭在各自視角所拍攝的兩幅圖像形成圖像對，通過檢測圖像對中兩幅圖像之間中相同物體的圖像區塊進行檢測并進行立體匹配，以確定兩幅圖像中對應同一物點的一對像素點并獲得像素點對之間的視差(disparity)。然后，根據視差圖進行測距計算以得到深度信息，各個像素點的深度信息構成深度圖像，深度圖像還可進一步轉換世界坐標系下的各點坐標得到點云圖。

然而，雙目立體視覺技術在特定結構的場景中存在一定問題。常見的使用場景為雙目立體視覺系統以較低高度放置在地面。無論主動或被動雙目立體視覺測距，當其按光軸方向非垂直于地面地接近在地面放置以測量深度信息時，其兩個攝像頭會受到幾何結構制約。當兩個攝像頭放置高度越低，所拍攝的圖像之間的視差就越大，立體匹配的視差范圍是有限制的，由此就會造成立體匹配的失敗率增高，導致深度圖像存在大量缺乏深度信息的像素。

另外，雖然利用激光的飛行時間(ToF)測距被普遍應用于貼近放置在地面進行立體深度測量的應用，如掃地機器人等，但激光雷達的成本要極大地高于雙目立體視覺系統，不可能替代雙目立體視覺系統。

因此，如何找到一種能提升低高度應用場景中測距準確性的雙目立體視覺系統，已成為業內亟待解決的技術問題。

發明消息

鑒于以上相關技術的缺點，本公開的目的在于提供深度測量方法、雙目立體視覺系統、裝置及存儲介質，以解決相關技術中雙目立體視覺系統在特定結構場景中測距的深度信息缺失的問題。