[發明專利]一種基于自適應雙目結構光的深度感知方法和裝置

在審

• 申請號: 202111190342.0
• 申請日: 2021-10-12
• 公開（公告）號: CN114022529A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 李小芳;賈同;梁方正;鐘陽揚;楊逍
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08;G06T7/12
• 代理公司: 深圳市深聯知識產權代理事務所(普通合伙) 44357
• 代理人: 張琪

本發明涉及一種基于自適應雙目結構光的深度感知方法及裝置。其中的方法首先構建了一種適應于場景變化的自適應結構光編碼方案，用于解決當同一個場景中存在不同深度分布的物體時，雙目畸變圖像出現過/欠曝以及散焦的問題。并基于該編碼方案構建了自適應結構光生成模型，構建數據集對自適應結構光生成模型進行訓練。而后構建一種適用于自適應結構光的雙目立體匹配網絡用于獲取場景的深度值。通過將自適應結構光生成模型生成的散斑結構光圖案投射到實際場景中去，利用雙目相機進行拍攝，得到含有結構光圖案信息的雙目圖像，并將其作為網絡的輸入，輸出深度圖。其中的裝置包括存儲器和處理器，該處理器在執行儲存在存儲器的指令時實施所述方法。

技術領域

本發明涉及機器視覺領域，尤其涉及一種基于自適應雙目結構光的深度感知方法和裝置。

背景技術

深度感知技術對于自動駕駛儀、運動分析、醫學診斷、虛擬現實系統等關鍵應用具有重要意義。目前成功商業化的深度感知技術主要有飛行時間法，雙目立體匹配法和結構光法。飛行時間法原理簡單但是測量分辨率較低，而且受硬件條件限制較大；雙目立體匹配法測量精度高但是無法處理弱紋理場景而且算法復雜度較高；結構光法能夠解決弱紋理場景但是容易受到深度感知場景及環境光影響，室外場景表現不佳。

為解決以上問題，雙目結構光技術應運而生。雙目結構光技術是在雙目立體匹配法和結構光法基礎上發展而來的。因此雙目結構光技術能夠適用于弱紋理以及室內室外等多種場景。目前較為成功的商用產品Realsense采用的即為雙目結構光技術。Realsense的組成為一個紅外點陣投射器、一個左紅外相機、一個右紅外相機以及一目圖像，而后使用雙目立體匹配原理獲取視差圖以及深度圖。RGB相機用于采集彩色圖像，將彩色視頻流與深度流進行對齊。

Realsense相機以及傳統的雙目結構光雖然彌補了單一雙目視覺以及結構光的缺點，但是雙目結構光技術也面臨一些問題。首先，固定的投射圖案可能不適合環境光差別較大的場景。同時，當同一個場景中存在不同深度分布的物體時，相機獲取的畸變圖像可能出現照度不均勻(過/欠曝)和局部模糊(散焦)現象，這會極大地降低立體匹配算法的效果，最終導致較差的深度圖像。

發明內容

本發明提供一種基于自適應雙目結構光的深度感知方法和裝置，旨在至少解決現有技術中存在的技術問題之一。

本發明的技術方案涉及一種基于自適應雙目結構光的深度感知方法，所述方法包括以下步驟：

A、獲取場景雙目畸變圖像，并利用傳統立體匹配算法SGBM得到場景的粗略深度信息，而后將深度信息作為已訓練的自適應結構光生成模型的輸入，得到場景自適應投射圖案；

B、將場景自適應投射圖案進行實際投采，獲取包含結構光信息的場景自適應雙目畸變圖像并將其作為已訓練的雙目立體匹配網絡的輸入；

C、結合相機和投影儀系統標定參數得到場景深度圖像。

本方案中，所述步驟A包括：

A1、自適應結構光編碼設計：

將結構光圖像均勻分割為N個圖像塊，每個圖像塊由參數δ＝(b，q，s)唯一表示，通過改變每個圖像塊的參數δ調整對應區域照明以適應場景中存在不同深度范圍物體表面的結構光投射；其中，通過改變投射散斑點圖案的灰度b影響結構光光照強度進而控制投射在物體表面的曝光程度，改變散斑點的尺寸s影響結構光圖案的頻域信息，增強對散焦模糊的魯棒性；此外，為了確保改變散斑點尺寸不會因散斑點過于稠密或稀疏影響最終獲取的畸變圖像質量，可通過實驗手段選取合適的散斑點密度q與散斑點尺寸s相對應。

A2、利用自適應結構光生成模型得到場景自適應投射圖案：