[發(fā)明專(zhuān)利]一種移動(dòng)環(huán)境下稀疏場(chǎng)景流檢測(cè)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710897706.6
• 申請(qǐng)日: 2017-09-28
• 公開(kāi)（公告）號(hào): CN107657644B
• 公開(kāi)（公告）日: 2019-11-15
• 發(fā)明（設(shè)計(jì)）人: 陳平;張凱;盧維;潘石柱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06T7/80
• 分類(lèi)號(hào): G06T7/80
• 代理公司: 11291 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 黃志華<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入

1.一種移動(dòng)環(huán)境下稀疏場(chǎng)景流檢測(cè)方法，其特征在于，所述方法包括：

通過(guò)雙目相機(jī)對(duì)移動(dòng)環(huán)境中的圖像進(jìn)行采集，獲取當(dāng)前幀的第一圖像和第二圖像以及當(dāng)前幀的上一幀的第三圖像和第四圖像；

基于所述第一圖像、所述第二圖像、所述第三圖像和所述第四圖像，獲得第一匹配點(diǎn)對(duì)集合，其中，所述第一匹配點(diǎn)對(duì)集合與第一稀疏場(chǎng)景流相對(duì)應(yīng)；

對(duì)所述第一匹配點(diǎn)對(duì)集合進(jìn)行擴(kuò)充，獲得第二匹配點(diǎn)對(duì)集合；

對(duì)所述第二匹配點(diǎn)對(duì)集合進(jìn)行劃分，獲得第二匹配點(diǎn)對(duì)集合中的內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合和外點(diǎn)匹配點(diǎn)對(duì)集合；

基于所述內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合獲得第二稀疏場(chǎng)景流中的所述雙目相機(jī)的自運(yùn)動(dòng)場(chǎng)景流；基于所述外點(diǎn)匹配點(diǎn)對(duì)集合獲得第二稀疏場(chǎng)景流中的所述雙目相機(jī)的運(yùn)動(dòng)目標(biāo)場(chǎng)景流，其中，所述第二匹配點(diǎn)對(duì)集合與所述第二稀疏場(chǎng)景流相對(duì)應(yīng)。

2.如權(quán)利要求1所述的方法，其特征在于，在所述通過(guò)雙目相機(jī)對(duì)移動(dòng)環(huán)境中的圖像進(jìn)行采集，獲取當(dāng)前幀的第一圖像和第二圖像以及當(dāng)前幀的上一幀的第三圖像和第四圖像之前，所述方法還包括：

將雙目相機(jī)的左相機(jī)和右相機(jī)平行放置，使得所述左相機(jī)的光軸和所述右相機(jī)的光軸平行，對(duì)所述雙目相機(jī)進(jìn)行立體標(biāo)定，獲得所述雙目相機(jī)的內(nèi)參數(shù)和外參數(shù)。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述基于所述第一圖像、所述第二圖像、所述第三圖像和所述第四圖像，提取出第一匹配點(diǎn)對(duì)集合，包括：

對(duì)所述第一圖像、所述第二圖像、所述第三圖像和所述第四圖像進(jìn)行極線校正，提取出所述第一圖像、所述第二圖像、所述第三圖像和所述第四圖像中的orb特征點(diǎn)和/或blob特征點(diǎn)；

對(duì)所述orb特征點(diǎn)和/或blob特征點(diǎn)進(jìn)行匹配，并通過(guò)所述orb特征點(diǎn)和/或blob特征點(diǎn)的空間約束關(guān)系剔除誤匹配特征點(diǎn)，獲得第一匹配點(diǎn)對(duì)集合。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述對(duì)所述第一匹配點(diǎn)對(duì)集合進(jìn)行擴(kuò)充，獲得第二匹配點(diǎn)對(duì)集合，包括：

對(duì)所述第一匹配點(diǎn)對(duì)集合進(jìn)行迭代擴(kuò)充，直至沒(méi)有新的匹配點(diǎn)對(duì)加入相應(yīng)的擴(kuò)充后的匹配點(diǎn)對(duì)集合，獲得第二匹配點(diǎn)對(duì)集合，其中，每一次的擴(kuò)充對(duì)象為上一次的擴(kuò)充結(jié)果，且每一次擴(kuò)充包括以下操作：

確定當(dāng)前的擴(kuò)充對(duì)象；

對(duì)當(dāng)前擴(kuò)充對(duì)象進(jìn)行三角網(wǎng)格化，獲得所述當(dāng)前擴(kuò)充對(duì)象對(duì)應(yīng)的三角網(wǎng)格集合；

對(duì)所述三角網(wǎng)格集合中大于第一預(yù)設(shè)閾值的邊的中點(diǎn)對(duì)進(jìn)行提取；

對(duì)所述中點(diǎn)對(duì)中的中點(diǎn)進(jìn)行相似度匹配并獲得每個(gè)中點(diǎn)對(duì)的相似度；

將相似度大于第二預(yù)設(shè)閾值的中點(diǎn)對(duì)作為新的匹配點(diǎn)對(duì)加入所述當(dāng)前的擴(kuò)充對(duì)象，獲得相應(yīng)的擴(kuò)充后的匹配點(diǎn)對(duì)集合作為擴(kuò)充結(jié)果。

5.如權(quán)利要求1或2所述的方法，其特征在于，對(duì)所述第二匹配點(diǎn)對(duì)集合進(jìn)行劃分，獲得第二匹配點(diǎn)對(duì)集合中的內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合和外點(diǎn)匹配點(diǎn)對(duì)集合，包括：

獲取基準(zhǔn)圖像與所述第一至第四圖像中除所述基準(zhǔn)圖像的其余圖像的射影變換矩陣，其中，所述基準(zhǔn)圖像為所述第一至第四圖像中的任一圖像；

利用所述射影變換矩陣獲得內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合和外點(diǎn)匹配點(diǎn)對(duì)集合。

6.如權(quán)利要求1或2所述的方法，其特征在于，所述基于所述內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合和所述外點(diǎn)匹配點(diǎn)對(duì)集合，獲得第二稀疏場(chǎng)景流中的所述雙目相機(jī)的自運(yùn)動(dòng)場(chǎng)景流和運(yùn)動(dòng)目標(biāo)場(chǎng)景流，包括：

獲得第二稀疏場(chǎng)景流中的與所述內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合對(duì)應(yīng)的所述雙目相機(jī)的自運(yùn)動(dòng)場(chǎng)景流；

根據(jù)所述外點(diǎn)匹配點(diǎn)對(duì)集合中每個(gè)匹配點(diǎn)對(duì)的深度信息的鄰域相關(guān)性和光流信息的鄰域相關(guān)性，剔除所述外點(diǎn)匹配點(diǎn)對(duì)集合中的噪聲點(diǎn)對(duì)，從而獲得第二稀疏場(chǎng)景流中所述運(yùn)動(dòng)目標(biāo)場(chǎng)景流。

7.如權(quán)利要求1或2所述的方法，其特征在于，在所述基于所述內(nèi)點(diǎn)匹配點(diǎn)對(duì)集合和所述外點(diǎn)匹配點(diǎn)對(duì)集合，獲得第二稀疏場(chǎng)景流中的所述雙目相機(jī)的自運(yùn)動(dòng)場(chǎng)景流和運(yùn)動(dòng)目標(biāo)場(chǎng)景流之后，所述方法還包括：

將所述雙目相機(jī)的自運(yùn)動(dòng)場(chǎng)景流變換至三維坐標(biāo)系下的旋轉(zhuǎn)平移變換矩陣，獲取所述雙目相機(jī)的位姿狀態(tài)和視覺(jué)里程計(jì)；

將所述運(yùn)動(dòng)目標(biāo)場(chǎng)景流變換至三維坐標(biāo)系下的旋轉(zhuǎn)平移變換矩陣，獲取所述運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡和/或預(yù)測(cè)所述運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)。