[發(fā)明專利]一種高動態(tài)范圍場景下基于RGB與DVS圖像融合的視差圖增強(qiáng)方法

有效

• 申請?zhí)枺?/td>: 202011283187.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112396562B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 黃凱;孟浩;李博洋
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/13;G06T7/80
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 王曉玲

本發(fā)明屬于機(jī)器人感知領(lǐng)域，更具體地，涉及一種高動態(tài)范圍場景下基于RGB與DVS圖像融合的視差圖增強(qiáng)方法。包括：S1.部署雙目RGB相機(jī)以及DVS相機(jī)，并對雙目RGB相機(jī)以及DVS相機(jī)進(jìn)行標(biāo)定；S2.采集場景中雙目相機(jī)RGB圖像以及DVS圖像，經(jīng)過配準(zhǔn)之后進(jìn)行多尺度加權(quán)融合；S3.為融合后的圖像生成針對計(jì)算機(jī)視覺的HDR圖像；S4.基于步驟S3生成的HDR圖像使用改進(jìn)后的雙目立體匹配算法SGM生成視差圖。在隧道這類成像動態(tài)范圍較大的場景中，解決相機(jī)出現(xiàn)的欠曝光以及高曝光問題，提高生成圖像的質(zhì)量，同時(shí)針對圖像邊緣區(qū)域不連續(xù)、不穩(wěn)定的問題，通過引入其他信息源的方式，盡可能豐富邊緣細(xì)節(jié)信息，提高最終生成的視差圖在圖像邊緣處的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人感知領(lǐng)域，更具體地，涉及一種高動態(tài)范圍場景下基于RGB與DVS圖像融合的視差圖增強(qiáng)方法。

背景技術(shù)

HDR(High-Dynamic?Range)即高動態(tài)范圍圖像,相比于普通圖像，它提供更多的動態(tài)范圍以及圖像細(xì)節(jié)信息。通過不同的曝光時(shí)間的LDR(Low-Dynamic?Range低動態(tài)范圍圖像)，并利用每個曝光時(shí)間相對應(yīng)最佳細(xì)節(jié)的LDR圖像合成HDR圖像.

相機(jī)標(biāo)定是一種確定傳感器成像幾何模型參數(shù)的方法，該幾何模型確定了空間物體表面點(diǎn)的三維幾何位置與其在圖像中對應(yīng)像素點(diǎn)的相互關(guān)系。相機(jī)標(biāo)定分為內(nèi)參標(biāo)定以及外參標(biāo)定兩種。內(nèi)參標(biāo)定獲取相機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的投影關(guān)系；外參標(biāo)定獲取世界坐標(biāo)系與相機(jī)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系，一般通過旋轉(zhuǎn)矩陣(R)以及平移矩陣(T)來描述.

圖像融合是使用特定的算法將兩幅或者多幅圖像綜合成一幅新的圖像，使得融合之后的圖像包含信息更加豐富。目前經(jīng)常使用的圖像融合算法包括：數(shù)學(xué)形態(tài)法、HIS變換、拉普拉斯金字塔融合、小波變換法等.

雙目立體匹配算法通過同一場景的左、右兩幅視點(diǎn)圖像獲取視差圖，進(jìn)而獲取深度圖。目前最為常用的算法是半全局匹配(SGM)算法.

中國專利CN111833393A，公開日為2020.10.27，公開了一種基于邊緣信息的雙目立體匹配方法，基于圖像邊緣信息并利用超像素分割算法對像素點(diǎn)進(jìn)行區(qū)域劃分，最終能夠獲取到在遮擋區(qū)域以及邊緣信息不連續(xù)區(qū)域更加精確的視差圖。但是該發(fā)明僅僅適用于低動態(tài)范圍的高質(zhì)量圖像，在隧道出入口這種動態(tài)范圍大的場景中，相機(jī)產(chǎn)生的圖像會出現(xiàn)欠曝光以及過曝光問題，通過該發(fā)明估計(jì)出的視差圖的精確率會大大降低。

發(fā)明內(nèi)容

本發(fā)明為克服上述現(xiàn)有技術(shù)中的至少一個缺陷，提供一種高動態(tài)范圍場景下基于RGB與DVS圖像融合的視差圖增強(qiáng)方法，能夠在成像動態(tài)范圍較大的場景中更加準(zhǔn)確、可靠、有效的實(shí)現(xiàn)視差圖增強(qiáng)。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種高動態(tài)范圍場景下基于RGB與DVS圖像融合的視差圖增強(qiáng)方法，包括以下步驟：

S1.部署雙目RGB相機(jī)以及DVS相機(jī)，并對雙目RGB相機(jī)以及DVS相機(jī)進(jìn)行標(biāo)定；

S2.采集場景中雙目相機(jī)RGB圖像以及DVS圖像，經(jīng)過配準(zhǔn)之后進(jìn)行多尺度加權(quán)融合；

S3.為融合后的圖像生成針對計(jì)算機(jī)視覺的HDR圖像；

S4.基于步驟S3生成的HDR圖像使用改進(jìn)后的雙目立體匹配算法SGM生成視差圖。

進(jìn)一步的，部署完雙目RGB相機(jī)以及DVS相機(jī)之后，保證在多次獲取數(shù)據(jù)的過程中各個傳感器的位置相對不變，在整個過程中只需要進(jìn)行一次標(biāo)定；標(biāo)定主要包括雙目RGB相機(jī)以及DVS相機(jī)的內(nèi)參標(biāo)定以及RGB相機(jī)聯(lián)合DVS相機(jī)的外參標(biāo)定。