[發(fā)明專利]基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811052260.8
• 申請日: 2018-09-10
• 公開（公告）號: CN109191526A
• 公開（公告）日: 2019-01-11
• 發(fā)明（設(shè)計）人: 王亞利
• 申請（專利權(quán)）人: 杭州艾米機器人有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T17/00
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 姚宇吉

1.一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，其特征在于，包括以下步驟：

在選取關(guān)鍵幀時，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿和當(dāng)前幀的光編碼器的位姿計算當(dāng)前幀和前一幀之間的幀間位姿變化信息，得到當(dāng)前幀的位姿估計；

在重建過程中，當(dāng)基于視覺方法估計得到的當(dāng)前幀相對于最近關(guān)鍵幀的位姿及其誤差超過第一設(shè)定閾值時，以光編碼器的輸出位姿作為相機的初始位姿，重新估計當(dāng)前幀相對于最近關(guān)鍵幀的位姿及其誤差，包括以下步驟：

基于通用的視覺方法估計得到當(dāng)前幀相對于最近關(guān)鍵幀的位姿及其誤差；

若該誤差大于第一設(shè)定閾值，則根據(jù)前一幀光編碼器的輸出位姿和當(dāng)前幀光編碼器的輸出位姿，得到幀間位姿；

根據(jù)幀間位姿和前一幀的位姿，得到當(dāng)前幀的位姿的初始估計；

根據(jù)最近關(guān)鍵幀和當(dāng)前幀的位姿的初始估計，得到當(dāng)前幀的位姿。

2.根據(jù)權(quán)利要求1所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，其特征在于，根據(jù)圖像的邊緣和特征點，選取關(guān)鍵幀。

3.根據(jù)權(quán)利要求1所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，其特征在于，包括以下步驟：

在選取關(guān)鍵幀時，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿信息和當(dāng)前幀的光編碼器的位姿信息，計算當(dāng)前幀和前一幀之間的幀間位姿變化信息；

根據(jù)所述前一幀的位姿和所述幀間位姿變化信息，得到當(dāng)前幀的位姿估計。

4.根據(jù)權(quán)利要求1所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，其特征在于，還包括以下步驟：

初始化關(guān)鍵幀；

若初始化成功，則根據(jù)當(dāng)前幀和最近的關(guān)鍵幀，得到當(dāng)前幀的位姿估計；

若初始化失敗，則判斷前一幀是否可以作為關(guān)鍵幀；

若前一幀可以作為關(guān)鍵幀，則將前一幀保存為新的關(guān)鍵幀，并將前一幀位姿初始化為單位陣，標(biāo)記初始化成功。

5.根據(jù)權(quán)利要求3所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建方法，其特征在于，在根據(jù)當(dāng)前幀和最近的關(guān)鍵幀，得到當(dāng)前幀的位姿估計之后，還包括以下步驟：

計算當(dāng)前幀相對于最近關(guān)鍵幀的位姿及誤差；

若誤差小于第二設(shè)定閾值時，將當(dāng)前幀保存為前一幀；

若誤差大于第二設(shè)定閾值時，則標(biāo)記初始化失敗。

6.一種基于RGBD攝像頭和光編碼器的三維環(huán)境重建系統(tǒng)，其特征在于，包括選取模塊和重建模塊；

所述選取模塊，用于在選取關(guān)鍵幀時，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿信息和當(dāng)前幀的光編碼器的位姿計算當(dāng)前幀和前一幀之間的幀間位姿變化，得到當(dāng)前幀的位姿估計；

所述重建模塊，用于在重建過程中，當(dāng)基于視覺方法估計得到的當(dāng)前幀相對于最近關(guān)鍵幀的位姿及其誤差超過第一設(shè)定閾值時，以光編碼器的輸出位姿作為相機的初始位姿，重新估計當(dāng)前幀相對于最近關(guān)鍵幀的位姿及其誤差。

7.根據(jù)權(quán)利要求6所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建系統(tǒng)，其特征在于，根據(jù)圖像的邊緣和特征點，選取關(guān)鍵幀。

8.根據(jù)權(quán)利要求6所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建系統(tǒng)，其特征在于，所述選取模塊包括第一計算單元和第二計算單元；

所述第一計算單元，用于在選取關(guān)鍵幀時，若前一幀不能作為關(guān)鍵幀，則利用前一幀的光編碼器的位姿信息和當(dāng)前幀的光編碼器的位姿信息，計算當(dāng)前幀和前一幀之間的幀間位姿變化信息；

所述第二計算單元，用于根據(jù)所述前一幀的位姿和所述幀間位姿變化信息，得到當(dāng)前幀的位姿估計。

9.根據(jù)權(quán)利要求6所述的基于RGBD攝像頭和光編碼器的三維環(huán)境重建系統(tǒng)，其特征在于，還包括初始化模塊；

所述初始化模塊，用于初始化關(guān)鍵幀；若初始化成功，則根據(jù)當(dāng)前幀和最近的關(guān)鍵幀，得到當(dāng)前幀的位姿估計；若初始化失敗，則判斷前一幀是否可以作為關(guān)鍵幀，若前一幀可以作為關(guān)鍵幀，則將前一幀保存為新的關(guān)鍵幀，并將前一幀位姿初始化為單位陣，標(biāo)記初始化成功。