[發(fā)明專利]一種基于深度信息融合的室內(nèi)場景三維點云重建方法和系統(tǒng)在審
申請?zhí)枺?/td> | 202110361836.4 | 申請日: | 2021-04-02 |
公開(公告)號: | CN113012212A | 公開(公告)日: | 2021-06-22 |
發(fā)明(設(shè)計)人: | 楊會君;許澤東;肖悅;秦玉龍;衛(wèi)志豪;劉東風;張義;沈求峰;于啟瑞 | 申請(專利權(quán))人: | 西北農(nóng)林科技大學 |
主分類號: | G06T7/55 | 分類號: | G06T7/55;G06T7/80;G06K9/62 |
代理公司: | 西安銘澤知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61223 | 代理人: | 張舉 |
地址: | 712100 *** | 國省代碼: | 陜西;61 |
權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關(guān)鍵詞: | 一種 基于 深度 信息 融合 室內(nèi) 場景 三維 重建 方法 系統(tǒng) | ||
本發(fā)明公開了一種基于深度信息融合的室內(nèi)場景三維點云重建方法,包括:獲取場景的彩色圖像和深度圖像;融合彩色圖像和深度圖像進行特征提取、匹配;確定深度相機的位姿并篩選出關(guān)鍵幀;根據(jù)關(guān)鍵幀,生成每個關(guān)鍵幀的三維點云;根據(jù)深度相機的位姿,逐幀拼接每個關(guān)鍵幀的三維點云,獲得全局一致的場景三維點云模型。本發(fā)明通過在特征提取中同時使用圖像亮度信息和深度信息評判一個點是否為特征點,使得提取出來的特征點具有高度代表性,同時對提取出來的特征點進行均勻化操作,保證特征點的數(shù)量在合理范圍內(nèi),有效地控制系統(tǒng)的計算量,提高了前端的精度,增強了前端的魯棒性,使得后端優(yōu)化的結(jié)果更加準確或者減少了后端優(yōu)化的迭代次數(shù)。
技術(shù)領(lǐng)域
本發(fā)明涉及計算機圖形學、計算機視覺、機器人技術(shù)領(lǐng)域,更具體的涉及一種基于深度信息融合的室內(nèi)場景三維點云重建方法和系統(tǒng)。
背景技術(shù)
近年來,同步定位與地圖構(gòu)建(SLAM)問題再次成為計算機視覺和機器人研究領(lǐng)域的熱點話題。SLAM可以被分為兩部分討論,即定位與建圖,定位是指對機器人自身位置及姿態(tài)的描述,而建圖則是對機器人周圍環(huán)境信息的描述,當機器人知道自身的位置以及周圍的環(huán)境信息后,機器人就可以幫助人類完成許多的工作。隨著計算機視覺技術(shù)的快速發(fā)展,例如攝像頭、激光雷達之類原先價格昂貴的產(chǎn)品,現(xiàn)在成本降低了許多,這使得SLAM在AR、機器人、無人機、無人駕駛等方面被廣泛運用,推進了這些方面研究的進展,大大加速了計算機視覺的發(fā)展歷程,提高了SLAM的技術(shù)價值。
對于基于特征點法的視覺SLAM系統(tǒng),一個高精度的前端是非常有必要的。目前傳統(tǒng)的視覺里程計采用ORB,SIFT,SURF或其變種等特征點方法,在特征提取的過程中考慮了光照、旋轉(zhuǎn),尺度等特性,但是這些方法并未考慮到像素深度值這一重要特性。
發(fā)明內(nèi)容
本發(fā)明實施例提供一種基于深度信息融合的室內(nèi)場景三維點云重建方法和系統(tǒng),用以解決上述背景技術(shù)中提出的問題。
本發(fā)明實施例提供一種基于深度信息融合的室內(nèi)場景三維點云重建方法,包括:采用深度相機,獲取場景的彩色圖像和深度圖像;
融合彩色圖像和深度圖像,并進行特征提取、匹配,獲得特征點匹配信息;
根據(jù)特征點匹配信息,確定深度相機的位姿,并篩選出關(guān)鍵幀;
根據(jù)關(guān)鍵幀所包含的彩色圖像和深度圖像,生成每個關(guān)鍵幀的三維點云;
根據(jù)深度相機的位姿,逐幀拼接每個關(guān)鍵幀的三維點云,獲得全局一致的場景三維點云模型。
進一步地,所述融合彩色圖像和深度圖像,并進行特征提取、匹配,獲得特征點匹配信息,具體包括:
對彩色圖像進行特征提取;
對每個特征點,計算基于深度值的BRIEF描述子;
確定BRIEF描述子間的漢明距離;
根據(jù)漢明距離,采用雙向FLANN特征匹配算法進行特征匹配,獲得特征點匹配信息。
進一步地,所述對每個特征點,計算基于深度值的BRIEF描述子,具體包括:
對每個特征點定義圖像鄰域;
在特征點的圖像鄰域中選取測試點對;
分別比較測試點對的灰度值和深度值大小,獲得基于深度值的BRIEF描述子。
進一步地,所述在特征點的圖像鄰域中選取測試點對,具體包括:
將測試點對旋轉(zhuǎn)角度,得到新的點對;并根據(jù)特征點方向?qū)男D(zhuǎn)矩陣,構(gòu)造出測試點對的校正矩陣;
使用圖像鄰域中某個點的5×5鄰域灰度平均值代替某個點對的灰度值,及使用圖像鄰域中某個點的5×5鄰域深度平均值代替某個點對的深度值;
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于西北農(nóng)林科技大學,未經(jīng)西北農(nóng)林科技大學許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110361836.4/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 信息記錄介質(zhì)、信息記錄方法、信息記錄設(shè)備、信息再現(xiàn)方法和信息再現(xiàn)設(shè)備
- 信息記錄裝置、信息記錄方法、信息記錄介質(zhì)、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現(xiàn)裝置、信息記錄方法、信息再現(xiàn)方法、信息記錄程序、信息再現(xiàn)程序、以及信息記錄介質(zhì)
- 信息記錄裝置、信息再現(xiàn)裝置、信息記錄方法、信息再現(xiàn)方法、信息記錄程序、信息再現(xiàn)程序、以及信息記錄介質(zhì)
- 信息記錄設(shè)備、信息重放設(shè)備、信息記錄方法、信息重放方法、以及信息記錄介質(zhì)
- 信息存儲介質(zhì)、信息記錄方法、信息重放方法、信息記錄設(shè)備、以及信息重放設(shè)備
- 信息存儲介質(zhì)、信息記錄方法、信息回放方法、信息記錄設(shè)備和信息回放設(shè)備
- 信息記錄介質(zhì)、信息記錄方法、信息記錄裝置、信息再現(xiàn)方法和信息再現(xiàn)裝置
- 信息終端,信息終端的信息呈現(xiàn)方法和信息呈現(xiàn)程序
- 信息創(chuàng)建、信息發(fā)送方法及信息創(chuàng)建、信息發(fā)送裝置