[發明專利]一種基于自適應雙目結構光的深度感知方法和裝置

在審

• 申請號: 202111190342.0
• 申請日: 2021-10-12
• 公開（公告）號: CN114022529A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 李小芳;賈同;梁方正;鐘陽揚;楊逍
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08;G06T7/12
• 代理公司: 深圳市深聯知識產權代理事務所(普通合伙) 44357
• 代理人: 張琪

1.一種基于自適應雙目結構光的深度感知方法，其特征在于，所述方法包括以下步驟：

A、獲取場景雙目畸變圖像，并利用傳統立體匹配算法SGBM得到場景的粗略深度信息，而后將深度信息作為已訓練的自適應結構光生成模型的輸入，得到場景自適應投射圖案；

B、將場景自適應投射圖案進行實際投采，獲取包含結構光信息的場景自適應雙目畸變圖像并將其作為已訓練的雙目立體匹配網絡的輸入；

C、結合相機-投影儀系統標定參數得到場景深度圖像。

2.根據權利要求1所述的方法，其中，所述步驟A包括：

A1、提供自適應結構光編碼：

將結構光圖像均勻分割為N個圖像塊，每個圖像塊由參數δ＝(b，q，s)唯一表示，通過改變每個圖像塊的參數δ調整對應區域照明以適應場景中存在不同深度范圍物體表面的結構光投射，其中，q為散斑點密度，然后通過改變投射散斑點圖案的灰度b影響結構光光照強度進而控制投射在物體表面的曝光程度，改變散斑點的尺寸s影響結構光圖案的頻域信息，增強對散焦模糊的魯棒性；

A2、利用自適應結構光生成模型得到場景自適應投射圖案：

根據先驗的場景信息，利用有監督訓練得到的自適應結構光生成模型G生成場景自適應結構光投射圖案，局部改變當前的投射圖案與光照強度；自適應結構光生成模型以傳統立體匹配算法根據拍攝的場景雙目畸變圖像獲得粗略的場景深度信息作為輸入，回歸得到一組唯一表示當前自適應結構光圖案的參數結合后續的解碼和圖像拼接操作Decoder()得到針對當前場景相對最優的結構光投射圖案P_optimal：

其中I_L、I_R表示獲取到的包含當前場景信息的左右目畸變圖像，m()表示所采用的立體匹配算法，δⁱ為所述自適應結構光編碼中針對每一個圖像塊的編碼參數集合(bⁱ，qⁱ，sⁱ)，其中i取值范圍為1到N之間的整數，N為一張完整的結構光投射圖案所分割的圖像塊數量，為唯一表示一張結構光圖案的參數集合，P_optimal為參數集合經過解碼操作以后所獲得的結構光圖案。