[發(fā)明專利]軌跡實例級分割和多運動視覺里程測量方法及系統(tǒng)有效
| 申請?zhí)枺?/td> | 202110990115.X | 申請日： | 2021-08-26 |
| 公開（公告）號： | CN113705431B | 公開（公告）日： | 2023-08-08 |
| 發(fā)明（設(shè)計）人： | 周風(fēng)余;顧潘龍;延曉輝;尹磊;萬方;夏英翔 | 申請（專利權(quán)）人： | 山東大學(xué) |
| 主分類號： | G06V40/20 | 分類號： | G06V40/20;G06V10/26;G06V10/762;G06V10/764;G06V10/82;G06V10/62;G06N3/045;G06N3/08;G06T7/215;G06T7/246;G06T17/05 |
| 代理公司： | 濟南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221 | 代理人： | 張慶騫 |
| 地址： | 250061 山東*** | 國省代碼： | 山東;37 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 軌跡 實例 分割 運動 視覺 里程 測量方法 系統(tǒng) | ||
1.一種軌跡實例級分割和多運動視覺里程測量方法，其特征在于，包括：
獲取機器人周圍環(huán)境圖像序列及每幀圖像的特征點；
基于圖像特征點的位置變化構(gòu)建出特征點軌跡特征；
基于特征點軌跡特征對軌跡進行動靜態(tài)分割，為每個動態(tài)軌跡額外輸出一個實例編碼，進而在動態(tài)軌跡中對不同運動物體進行分離；
將實例分割結(jié)果與動態(tài)實例地圖進行匹配，并剔除實例分割結(jié)果中的異常值，進而計算出運動實例的姿態(tài)及相機里程計；
基于特征點軌跡特征及有監(jiān)督動態(tài)軌跡分割模型對軌跡進行動靜態(tài)分割及實例編碼；
所述有監(jiān)督動態(tài)軌跡分割模型包括主干網(wǎng)絡(luò)、第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)，所述主干網(wǎng)絡(luò)用于聚合軌跡的特征，第一子網(wǎng)絡(luò)用于軌跡的動靜態(tài)分類，第二子網(wǎng)絡(luò)用于為每條特征軌跡額外回歸用于實例分割的特征編碼，并使用語義分割對實例分割編碼進行優(yōu)化。
2.如權(quán)利要求1所述的軌跡實例級分割和多運動視覺里程測量方法，其特征在于，所述特征點軌跡特征包括基礎(chǔ)特征、歸一化特征、一階差分特征和二階差分特征。
3.如權(quán)利要求2所述的軌跡實例級分割和多運動視覺里程測量方法，其特征在于，所述基礎(chǔ)特征包括特征點的像素坐標(biāo)、空間坐標(biāo)和RGB色彩；
或使用最新一幀中的特征點特征與特征軌跡中的所有的特征點特征做差，構(gòu)建軌跡在時間維度上的歸一化特征；
或使用軌跡特征在時間維度上緊臨的前后兩個特征點特征之差構(gòu)建特征軌跡的一階差分特征。
4.如權(quán)利要求1所述的軌跡實例級分割和多運動視覺里程測量方法，其特征在于，通過光束法平差算法對相機自身運動以及空間中實例的運動進行開窗優(yōu)化。
5.如權(quán)利要求1所述的軌跡實例級分割和多運動視覺里程測量方法，其特征在于，使用靜態(tài)軌跡計算相機里程計。
6.一種軌跡實例級分割和多運動視覺里程測量系統(tǒng)，其特征在于，包括：
特征點獲取模塊，其用于獲取機器人周圍環(huán)境圖像序列及每幀圖像的特征點；
特征點軌跡特征構(gòu)建模塊，其用于基于圖像特征點的位置變化構(gòu)建出特征點軌跡特征；
實例分割模塊，其用于基于特征點軌跡特征對軌跡進行動靜態(tài)分割，為每個動態(tài)軌跡額外輸出一個實例編碼，進而在動態(tài)軌跡中對不同運動物體進行分離；
相機里程計算模塊，其用于將實例分割結(jié)果與動態(tài)實例地圖進行匹配，并剔除實例分割結(jié)果中的異常值，進而計算出運動實例的姿態(tài)及相機里程計；
基于特征點軌跡特征及有監(jiān)督動態(tài)軌跡分割模型對軌跡進行動靜態(tài)分割及實例編碼；
所述有監(jiān)督動態(tài)軌跡分割模型包括主干網(wǎng)絡(luò)、第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)，所述主干網(wǎng)絡(luò)用于聚合軌跡的特征，第一子網(wǎng)絡(luò)用于軌跡的動靜態(tài)分類，第二子網(wǎng)絡(luò)用于為每條特征軌跡額外回歸用于實例分割的特征編碼，并使用語義分割對實例分割編碼進行優(yōu)化。
7.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-5中任一項所述的軌跡實例級分割和多運動視覺里程測量方法中的步驟。
8.一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1-5中任一項所述的軌跡實例級分割和多運動視覺里程測量方法中的步驟。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于山東大學(xué)，未經(jīng)山東大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110990115.X/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
