[發(fā)明專利]一種基于RGB-D特征匹配的3D點云拼接與融合方法有效
| 申請?zhí)枺?/td> | 201711293629.X | 申請日： | 2017-12-08 |
| 公開（公告）號： | CN108053367B | 公開（公告）日： | 2021-04-20 |
| 發(fā)明（設(shè)計）人： | 邱鈞;劉暢;王媛;吳麗娜 | 申請（專利權(quán)）人： | 北京信息科技大學(xué) |
| 主分類號： | G06T3/40 | 分類號： | G06T3/40;G06T5/50;G06T7/33;G06T7/90 |
| 代理公司： | 北京匯智勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11346 | 代理人： | 石輝 |
| 地址： | 100192 北*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 rgb 特征 匹配 拼接 融合 方法 | ||
本發(fā)明公開了一種基于RGB?D特征匹配的3D點云拼接與融合方法，該方法主要包括：將不同視點的場景表面3D點云數(shù)據(jù)投影到RGB?D圖像進行處理，實現(xiàn)三維點云降至二維的降維計算；提取RGB?D圖像特征點，建立RGB?D圖像的特征描述，對不同視點RGB?D圖像進行匹配；求解坐標(biāo)及深度變換矩陣，對RGB?D圖像進行拼接與融合；將拼接后的RGB?D圖像轉(zhuǎn)化為3D點云數(shù)據(jù)。通過采用本發(fā)明提供的方法，可以簡化三維點云特征提取和匹配的計算，提高三維點云拼接和融合的效率。可應(yīng)用于3D大視場與3D全景的場景重建。
技術(shù)領(lǐng)域
本發(fā)明涉及計算機視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于RGB-D特征匹配的3D點云拼接與融合方法。
背景技術(shù)
場景三維重建是計算機視覺領(lǐng)域研究的重要課題，實際應(yīng)用中無法一次性獲得被測場景表面完整的3D點云數(shù)據(jù)，只能通過多視點拍攝或測量得到點云數(shù)據(jù)，再配準(zhǔn)到統(tǒng)一的坐標(biāo)系下。常用的方法：依賴儀器配準(zhǔn)通過硬件之間的坐標(biāo)關(guān)系將多片點云旋轉(zhuǎn)平移到統(tǒng)一坐標(biāo)系下，該方法不需要點云之間具有共同特征，配準(zhǔn)速度快，但要求對硬件進行精準(zhǔn)標(biāo)定或標(biāo)志點的輔助獲得全場景圖像間的坐標(biāo)變換關(guān)系；自動配準(zhǔn)是通過一定的算法或統(tǒng)計規(guī)律將兩片云之間的錯位消除，該方法需要兩點云數(shù)據(jù)之間具有共同特征，在某些情況下需要獲取初始值，且配準(zhǔn)算法存在退化的情況。
因此，希望有一種技術(shù)方案來克服或至少減輕現(xiàn)有技術(shù)的上述缺陷中的至少一個。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于RGB-D特征匹配的3D點云拼接與融合方法來克服或至少減輕現(xiàn)有技術(shù)的上述缺陷中的至少一個。
為實現(xiàn)上述目的，本發(fā)明提供一種基于RGB-D特征匹配的3D點云拼接與融合方法，其中，包括：
步驟100，將不同視點的場景表面3D點云數(shù)據(jù)投影到RGB-D圖像進行處理，實現(xiàn)三維點云降至二維的降維計算；
步驟200，提取RGB-D圖像中的特征點，建立RGB-D圖像的特征描述，對不同視點RGB-D圖像進行匹配；
步驟300，求解坐標(biāo)及深度變換矩陣，對RGB-D圖像進行拼接與融合；
步驟400，將拼接后的RGB-D圖像轉(zhuǎn)化為3D點云數(shù)據(jù)。
進一步地，步驟100中的“實現(xiàn)三維點云降至二維的降維計算”方法包括：
在3D點云坐標(biāo)系下，選定一個參考面Zw＝d0作為相機平面，則3D點云數(shù)據(jù)(XwYw，Zw)轉(zhuǎn)化為RGB-D圖像坐標(biāo)(x，y)＝(Xw，Yw)與深度D(x，y)＝d0-Zw。該RGB-D圖像的中心點投影到相機平面上作為該圖像的視點。
進一步地，步驟300中的“求解坐標(biāo)及深度變換矩陣，對RGB-D圖像進行拼接”包括：
經(jīng)特征匹配后的兩幅RGB-D圖像，對應(yīng)特征點可通過求解變換矩陣相互轉(zhuǎn)換，基于投影變換模型給出變換矩陣，該變換矩陣與特征點對的關(guān)系模型為：
其中A′對應(yīng)圖像I′，A對應(yīng)參照圖像I，變換矩陣Tk包含旋轉(zhuǎn)、縮放、平移和變形量，通過代入特征點對進行求解；
利用求解出的Tk對圖像I′中的像點逐一變換，實現(xiàn)圖像的拼接。
進一步地，步驟300中的“對RGB-D圖像進行融合”包括：
不同RGB-D圖像拼接過程中進行圖像融合，對圖像數(shù)據(jù)的RGB值作基于光度差異的變換，變換過程由以下線性模型給出：
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京信息科技大學(xué)，未經(jīng)北京信息科技大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711293629.X/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
