[發明專利]一種高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法

有效

• 申請號: 202011283187.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112396562B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 黃凱;孟浩;李博洋
• 申請（專利權）人: 中山大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/13;G06T7/80
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 王曉玲

1.一種高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法，其特征在于，包括以下步驟：

S1.部署雙目RGB相機以及DVS相機，并對雙目RGB相機以及DVS相機進行標定；

S2.采集場景中雙目相機RGB圖像以及DVS圖像，經過配準之后進行多尺度加權融合；

S3.為融合后的圖像生成針對計算機視覺的HDR圖像；由于光線條件變化劇烈出現的曝光過度以及曝光不足的問題會嚴重影響融合圖像的質量，通過自動多曝光控制方法得到兩組不同曝光程度的圖像，然后在這兩組圖像上應用改進過像素權重計算公式的Mertens算法得到HDR圖像；

生成HDR圖像具體包括以下步驟：

計算每個像素的響應的測量值，公式如下：

式中，k＝0表示低曝光圖像，k＝1表示高曝光圖像，I_i,j表示圖像在(i,j)處的灰度值，δ是一個常數；

然后計算低曝光以及高曝光圖像每一個像素的初始權重，公式如下：

W_i,j,k＝min{w_CC_i,j,k+w_EE_i,j,k,1}

其中，C_i,j,k表示低曝光或者高曝光在(i,j)處的Constrast權重，w_C以及w_E分別表示兩者的權重系數；

通過優化權重計算公式增強結果的數值穩定性，公式如下:

其中，N表示不同曝光圖像的數量；W_i,j,k′表示第k'種曝光圖像在下標(i,j)處的初始權重；

最后通過公式加權得到HDR圖像，I_i,j,k′表示第k'種曝光圖像在(i,j)處的灰度值；

S4.基于步驟S3生成的HDR圖像使用改進后的雙目立體匹配算法SGM生成視差圖；改進后的SGM算法中，首先使用具備光照不變性的Census變換代替原有SGM算法中的互信息MI去計算視差匹配代價，然后基于十字交叉鄰域去進行代價聚合提高算法在灰度信息、深度信息不連續情況下的性能，最后按照SGM算法中的步驟進行視差計算以及視差優化。

2.根據權利要求1所述的高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法，其特征在于，部署完雙目RGB相機以及DVS相機之后，保證在多次獲取數據的過程中各個傳感器的位置相對不變，在整個過程中只需要進行一次標定；標定主要包括雙目RGB相機以及DVS相機的內參標定以及RGB相機聯合DVS相機的外參標定。

3.根據權利要求2所述的高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法，其特征在于，使用DVS相機增強圖片的邊緣信息；由于DVS相機獲取的數據是異步事件流數據，DVS輸出的并不是標準的圖像幀，通過設定一個固定的時間片長度Δt并在該時間片內不斷累積觸發事件，然后將一段時間內累積的事件流疊加在一起，最后，通過一個厚度為d的事件篩平面之后得到圖像幀。

4.根據權利要求2所述的高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法，其特征在于，RGB相機使用棋盤格標定板進行標定內參時，固定相機位置然后固定棋盤格標定板抓拍一組圖像，通過移動棋盤格標定板的方式獲取多組圖像；在進行DVS內參標定時使用不斷刷新的顯示屏作為事件的觸發源，通過在屏幕上顯示棋盤格標定板同時進行DVS相機與RGB相機的內參標定。

5.根據權利要求1所述的高動態范圍場景下基于RGB與DVS圖像融合的視差圖增強方法，其特征在于，所述的步驟S2中，匹配過程包括：首先通過SIFT、ORB、SURF特征提取算法檢測出特征點，然后對特征點進行匹配；獲取到圖像間的匹配對應點之后根據對應點信息計算兩個圖像的單應性矩陣，并通過單應性矩陣計算圖像的對齊；單應性矩陣通過四個坐標點點對計算得出，在獲取到單應性矩陣之后，便左乘源圖像進行配準、對齊。