[發(fā)明專利]一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110615548.7
• 申請(qǐng)日: 2021-06-02
• 公開（公告）號(hào): CN113362358A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 張小國;李尚哲;張開心;王慶
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06T7/136
• 分類號(hào): G06T7/136;G06T7/70;G06T7/80;G06K9/62;G06T7/11
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 薛雨妍

1.一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法，其特征在于，包括如下步驟：

(1)用實(shí)時(shí)實(shí)例分割網(wǎng)絡(luò)Yolcat(You Only Look At Coefficients)進(jìn)行實(shí)例分割識(shí)別潛在的動(dòng)態(tài)物體，并結(jié)合連續(xù)自適應(yīng)的Mean-Shift算法(Camshift，ContinuouslyAdaptive Mean Shift algorithm)對(duì)識(shí)別物體進(jìn)行跟蹤，獲得物體的分割結(jié)果；

(2)結(jié)合LK(Lucas–Kanade)光流法，計(jì)算分割物體內(nèi)所有特征點(diǎn)的動(dòng)態(tài)概率，得到該物體的動(dòng)態(tài)概率p_d；

(3)預(yù)設(shè)特定類別物體的動(dòng)態(tài)概率p_w作為語義先驗(yàn)概率，將物體的動(dòng)態(tài)概率p_d作為似然概率，由貝葉斯公式確定后驗(yàn)概率p_post，并設(shè)定閾值σ判斷分割區(qū)域是否為動(dòng)態(tài)區(qū)域；

(4)剔除動(dòng)態(tài)區(qū)域的特征點(diǎn)，再進(jìn)行特征匹配并計(jì)算相機(jī)位姿。

2.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法，其特征在于，所述步驟(1)中，用Yolcat進(jìn)行實(shí)例分割識(shí)別潛在的動(dòng)態(tài)物體，并結(jié)合Camshift對(duì)識(shí)別物體進(jìn)行跟蹤，獲得物體的分割結(jié)果，具體步驟為：

(1.1)提取當(dāng)前幀的ORB特征點(diǎn)；

(1.2)使用Yolact識(shí)別分割物體，并為每個(gè)物體標(biāo)號(hào)；

(1.3)使用Camshift跟蹤每個(gè)分割物體；

(1.4)在下一幀中計(jì)算Camshift跟蹤的物體區(qū)域C_area與Yolact分割物體區(qū)域Y_area的區(qū)域重合度θ，其中：

(1.5)若重合度θ超過設(shè)定閾值ε，則證明Yolact分割失敗，使用Camshift跟蹤到的結(jié)果，否則使用Yolact的結(jié)果；

(1.6)用步驟(1.5)得到的物體更新Camshift跟蹤物體。

3.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法，其特征在于，所述步驟(2)中，結(jié)合LK光流法，計(jì)算分割物體內(nèi)所有特征點(diǎn)的動(dòng)態(tài)概率，得到該物體的動(dòng)態(tài)概率p_d，具體步驟為：

(2.1)用LK光流法跟蹤當(dāng)前幀的匹配點(diǎn)對(duì)；

(2.2)剔除無效的匹配點(diǎn)對(duì)；

(2.3)根據(jù)相機(jī)內(nèi)參計(jì)算得到基礎(chǔ)矩陣F；

(2.4)根據(jù)基礎(chǔ)矩陣F計(jì)算當(dāng)前幀的基線I；

(2.5)計(jì)算當(dāng)前幀中特征點(diǎn)距離極線的距離并對(duì)實(shí)例分割物體內(nèi)所有特征點(diǎn)距離極線的距離求均值，得到分割物體的動(dòng)態(tài)概率p_d。

4.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法，其特征在于，所述步驟(3)中，預(yù)設(shè)特定類別物體的動(dòng)態(tài)概率p_w作為語義先驗(yàn)概率，將物體的動(dòng)態(tài)概率p_d作為似然概率，由貝葉斯公式確定后驗(yàn)概率p_post，并設(shè)定閾值σ判斷分割區(qū)域是否為動(dòng)態(tài)區(qū)域，具體步驟為：

(3.1)根據(jù)物體潛在動(dòng)態(tài)概率表(表1)，獲得特定物體動(dòng)態(tài)概率p_w，作為語義先驗(yàn)概率；

(3.2)將步驟(2)獲得的動(dòng)態(tài)概率p_d作為似然概率；

(3.3)利用貝葉斯公式得到觀測(cè)的后驗(yàn)概率p_post；

(3.4)將后驗(yàn)概率p_post與設(shè)定的閾值σ比較，判斷分割區(qū)域是否為動(dòng)態(tài)區(qū)域；

5.根據(jù)權(quán)利要求1所述的一種動(dòng)態(tài)場(chǎng)景下基于實(shí)例分割的魯棒性位姿估計(jì)方法，其特征在于，所述步驟(4)中，剔除動(dòng)態(tài)區(qū)域的特征點(diǎn)，進(jìn)行特征匹配并計(jì)算相機(jī)位姿，具體步驟為：若步驟(3)中判斷分割區(qū)域?yàn)閯?dòng)態(tài)區(qū)域，則剔除動(dòng)態(tài)區(qū)域內(nèi)特征點(diǎn)，再進(jìn)行特征匹配和相機(jī)位姿的計(jì)算。