[發(fā)明專利]基于數(shù)字影像地圖與特征點(diǎn)跟蹤的視覺位姿實(shí)時(shí)估計(jì)方法有效
| 申請(qǐng)?zhí)枺?/td> | 202010763607.0 | 申請(qǐng)日： | 2020-07-31 |
| 公開（公告）號(hào)： | CN111915651B | 公開（公告）日： | 2023-09-12 |
| 發(fā)明（設(shè)計(jì)）人： | 劉貴喜;蔡一凡;吳成一;馬建平;賈耀;張鵬飛;高玉舂 | 申請(qǐng)（專利權(quán)）人： | 西安電子科技大學(xué) |
| 主分類號(hào)： | G06T7/246 | 分類號(hào)： | G06T7/246;G06T7/269;G06T7/73;G06V20/17;G06V10/46;G06V10/62;G06V10/75;G06V10/80 |
| 代理公司： | 西安吉順和知識(shí)產(chǎn)權(quán)代理有限公司 61238 | 代理人： | 吳倩倩 |
| 地址： | 710071 陜西省*** | 國省代碼： | 陜西;61 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 數(shù)字影像 地圖 特征 跟蹤 視覺 實(shí)時(shí) 估計(jì) 方法 | ||
1.基于數(shù)字影像地圖與特征點(diǎn)跟蹤的視覺位姿實(shí)時(shí)估計(jì)方法,其特征在于，初始幀進(jìn)行特征點(diǎn)檢測并與超大數(shù)字影像地圖進(jìn)行匹配，確定無人機(jī)影像與超大數(shù)字影像地圖匹配點(diǎn)對(duì)；后續(xù)幀對(duì)成功匹配的特征點(diǎn)進(jìn)行光流逐幀跟蹤，避免了特征點(diǎn)檢測和匹配過程,直接確定了匹配點(diǎn)在后續(xù)幀的位置，提高了匹配速度，能逐幀進(jìn)行高精度的視覺實(shí)時(shí)位姿估計(jì)，至少包括如下步驟：
步驟101：獲取先驗(yàn)數(shù)字影像地圖；
步驟102：對(duì)數(shù)字影像地圖進(jìn)行SURF特征點(diǎn)檢測，將特征按照區(qū)域塊大小進(jìn)行保存，建立先驗(yàn)特征數(shù)據(jù)庫；
步驟103：獲得無人機(jī)拍攝地面影像；
步驟104：對(duì)步驟103獲取的無人機(jī)拍攝地面影像初始幀進(jìn)行SURF特征點(diǎn)檢測；
步驟105：將步驟104檢測的特征點(diǎn)與步驟102建立的先驗(yàn)特征數(shù)據(jù)庫進(jìn)行初始幀匹配得到成功匹配的無人機(jī)拍攝地面影像中2D特征點(diǎn)pc(xc,yc)和先驗(yàn)特征數(shù)據(jù)庫中世界坐標(biāo)系下3D點(diǎn)pw(xw,yw,zw)；
步驟106：將步驟105得到成功匹配的特征點(diǎn)對(duì)pc(xc,yc)和pw(xw,yw,zw)送入PnP(Perspective-n-Point)視覺位姿估計(jì)模型進(jìn)行視覺位姿估計(jì)，得到無人機(jī)的初始位姿；
步驟107：建立光流跟蹤器，將步驟103中獲取的無人機(jī)拍攝地面影像后續(xù)幀和步驟105或者步驟110重定位處理中獲得的成功匹配點(diǎn)對(duì)送入光流跟蹤器進(jìn)行光流跟蹤得到跟蹤成功點(diǎn)對(duì)p'c(xc,yc)和p'w(xw,yw,zw)；
步驟108：進(jìn)行成功跟蹤特征點(diǎn)數(shù)量判據(jù)，若成功跟蹤特征點(diǎn)數(shù)量少于閾值δn，則進(jìn)行步驟110，當(dāng)特征點(diǎn)數(shù)量足夠時(shí)進(jìn)行步驟109；
步驟109：將跟蹤成功的特征點(diǎn)對(duì)送入PnP模型，得到本幀視覺估計(jì)結(jié)果，將視覺估計(jì)結(jié)果進(jìn)行視覺估計(jì)誤差判據(jù)，若視覺位置估計(jì)誤差大于閾值δm時(shí)，進(jìn)行步驟110，否則進(jìn)行步驟111；通過步驟107-步驟109過程，幀定位時(shí)間由以往的5000ms降低到8ms以內(nèi)；
步驟110：將本幀進(jìn)行重定位處理，輸出重定位處理結(jié)果；
步驟111：將步驟106、步驟109、步驟110得到的視覺位姿估計(jì)結(jié)果進(jìn)行輸出，得到每幀的無人機(jī)拍攝地面影像視覺位姿估計(jì)結(jié)果；
所述的步驟107-步驟108當(dāng)成功跟蹤特征點(diǎn)數(shù)少于25-30個(gè)特征點(diǎn)數(shù)閾值δn時(shí)，需要進(jìn)行重定位處理，具體步驟包括：
步驟201：構(gòu)造光流跟蹤器，將無人機(jī)拍攝地面影像后續(xù)幀和初始幀/重定位幀匹配成功點(diǎn)對(duì)pc(xc,yc)和pw(xw,yw,zw)送入成功構(gòu)建的特征點(diǎn)光流跟蹤器，通過對(duì)特征點(diǎn)對(duì)的光流跟蹤，免去特征檢測和匹配過程，一步得到本幀成功匹配的特征點(diǎn)對(duì)p'c(xc,yc)和p'w(xw,yw,zw)；
步驟202：對(duì)跟蹤成功的匹配點(diǎn)對(duì)按歐氏距離的大小，從小到大進(jìn)行特征點(diǎn)排序；
步驟203：使用隨機(jī)采樣一致性原則篩選出正確匹配優(yōu)質(zhì)的特征點(diǎn)；
步驟204：統(tǒng)計(jì)跟蹤成功的特征點(diǎn)p'c(xc,yc)的數(shù)量，若成功跟蹤的點(diǎn)數(shù)小于閾值δn，δn選擇25到30特征點(diǎn)數(shù)，不滿足位姿估計(jì)要求的點(diǎn)數(shù)，則將其設(shè)為重定位幀，進(jìn)行重定位處理；
步驟205：將成功跟蹤的特征點(diǎn)對(duì)p'c(xc,yc)和p'w(xw,yw,zw)送入PnP模型中，進(jìn)行視覺位姿估計(jì)求解；
步驟206：得到本幀根據(jù)視覺位姿估計(jì)結(jié)果。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于西安電子科技大學(xué)，未經(jīng)西安電子科技大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010763607.0/1.html，轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
