[發(fā)明專利]基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811052260.8
• 申請(qǐng)日: 2018-09-10
• 公開（公告）號(hào): CN109191526A
• 公開（公告）日: 2019-01-11
• 發(fā)明（設(shè)計(jì)）人: 王亞利
• 申請(qǐng)（專利權(quán)）人: 杭州艾米機(jī)器人有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T17/00
• 代理公司: 杭州裕陽(yáng)聯(lián)合專利代理有限公司 33289
• 代理人: 姚宇吉

本發(fā)明公開了一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法及系統(tǒng)，在選取關(guān)鍵幀時(shí)，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿和當(dāng)前幀的光編碼器的位姿計(jì)算當(dāng)前幀和前一幀之間的幀間位姿變化信息，得到當(dāng)前幀的位姿估計(jì)；在重建過(guò)程中，當(dāng)基于視覺方法估計(jì)得到的當(dāng)前幀相對(duì)于最近關(guān)鍵幀的位姿及其誤差超過(guò)第一設(shè)定閾值時(shí)，以光編碼器的輸出位姿作為相機(jī)的初始位姿，重新估計(jì)當(dāng)前幀相對(duì)于最近關(guān)鍵幀的位姿及其誤差。其通過(guò)利用視覺和光編碼器估計(jì)相機(jī)位姿，可以減少環(huán)境光照變化對(duì)位姿估計(jì)的影響；當(dāng)關(guān)鍵幀初始化失敗時(shí)，利用光編碼器給出位姿變化的估計(jì)，可以增強(qiáng)對(duì)缺少紋理的環(huán)境重建的魯棒性，可以更廣泛地使用。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法及系統(tǒng)。

背景技術(shù)

在計(jì)算機(jī)視覺中,三維重建是指根據(jù)單視圖或者多視圖的圖像重建三維信息的過(guò)程。由于單視頻的信息不完全,因此三維重建比較困難。而多視圖的三維重建(類似人的雙目定位)相對(duì)比較容易,其大致方法是先對(duì)攝像機(jī)進(jìn)行標(biāo)定,即計(jì)算出攝像機(jī)的圖像坐標(biāo)系與世界坐標(biāo)系的關(guān)系，然后再利用多個(gè)二維圖像中的信息重建出三維信息。

目前，單純基于RGBD(RGB+Depth，彩色圖+深度圖)攝像頭的三維環(huán)境重建方法，其輸入圖像為彩色圖像和深度圖像。其中，彩色圖像容易受到過(guò)亮、過(guò)暗、過(guò)曝等環(huán)境光照變化的影響，從而導(dǎo)致圖像降質(zhì)，甚至不可用。此外，在缺少紋理的環(huán)境中，從彩色圖像中無(wú)法提取物體的邊緣和特征點(diǎn)。而物體的邊緣和特征點(diǎn)對(duì)相機(jī)的位姿估計(jì)非常重要，如果無(wú)法提取物體的邊緣和特征點(diǎn)，則會(huì)直接導(dǎo)致相機(jī)的位姿估計(jì)誤差過(guò)大，進(jìn)而影響重建效果。

因此，現(xiàn)有的基于RGBD攝像頭的三維環(huán)境重建方法，容易受環(huán)境及其光照變化的影響，在重建過(guò)程中對(duì)環(huán)境及其光照變化的魯棒性較低，應(yīng)用受限。

發(fā)明內(nèi)容

基于此，本發(fā)明的目的在于提供一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法及系統(tǒng)，在環(huán)境光照或環(huán)境紋理變化導(dǎo)致彩色圖像降質(zhì)或不可作為關(guān)鍵幀使用時(shí)，利用光編碼器的輸出來(lái)補(bǔ)償相機(jī)的位姿估計(jì)，從而增加了重建過(guò)程對(duì)環(huán)境及其光照變化的魯棒性，可以更廣泛地使用。

本發(fā)明提供的一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，包括以下步驟：

在選取關(guān)鍵幀時(shí)，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿和當(dāng)前幀的光編碼器的位姿計(jì)算當(dāng)前幀和前一幀之間的幀間位姿變化信息，得到當(dāng)前幀的位姿估計(jì)；

在重建過(guò)程中，當(dāng)基于視覺方法估計(jì)得到的當(dāng)前幀相對(duì)于最近關(guān)鍵幀的位姿及其誤差超過(guò)第一設(shè)定閾值時(shí)，以光編碼器的輸出位姿作為相機(jī)的初始位姿，重新估計(jì)當(dāng)前幀相對(duì)于最近關(guān)鍵幀的位姿及其誤差。

作為一種可實(shí)施方式，根據(jù)圖像的邊緣和特征點(diǎn)，選取關(guān)鍵幀。

作為一種可實(shí)施方式，在選取關(guān)鍵幀時(shí)，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿和當(dāng)前幀的光編碼器的位姿計(jì)算當(dāng)前幀和前一幀之間的幀間位姿變化信息，得到當(dāng)前幀的位姿估計(jì)，包括以下步驟：

在選取關(guān)鍵幀時(shí)，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿信息和當(dāng)前幀的光編碼器的位姿信息，計(jì)算當(dāng)前幀和前一幀之間的幀間位姿變化信息；

根據(jù)所述前一幀的位姿和所述幀間位姿變化信息，得到當(dāng)前幀的位姿估計(jì)。

作為一種可實(shí)施方式，本發(fā)明的基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，還包括以下步驟：

初始化關(guān)鍵幀；

若初始化成功，則根據(jù)當(dāng)前幀和最近的關(guān)鍵幀，得到當(dāng)前幀的位姿估計(jì)；

若初始化失敗，則判斷前一幀是否可以作為關(guān)鍵幀；