[發(fā)明專利]一種基于水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211077297.2
• 申請(qǐng)日: 2022-09-05
• 公開(kāi)（公告）號(hào): CN115439324A
• 公開(kāi)（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 楊毅;梁浩;朱春暉;董志鵬;孫潤(rùn)東;付夢(mèng)印
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/80;G06V10/44;G06V10/75;G06V10/82;G06V20/58
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 李微微

本發(fā)明提出一種水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)動(dòng)態(tài)拼接方法，該方法使用汽車環(huán)視視覺(jué)系統(tǒng)提供的全景圖像信息，能夠感知大范圍環(huán)境信息，為卡車等可轉(zhuǎn)動(dòng)的非剛體特種車輛提供汽車實(shí)時(shí)環(huán)視動(dòng)態(tài)拼接圖像，并可為車輛提供同一尺度下的水滴態(tài)三維感知視場(chǎng)融合圖像，實(shí)現(xiàn)無(wú)盲區(qū)、大范圍的實(shí)時(shí)環(huán)境顯示；通過(guò)基于Superpoint架構(gòu)的特征點(diǎn)提取算法與基于SuperGlue架構(gòu)的特征匹配算法可以有效改進(jìn)特征匹配結(jié)果，剔除無(wú)法用于位姿估計(jì)的匹配點(diǎn)對(duì)，提升相機(jī)之間相對(duì)位置參數(shù)的精度和可靠性；通過(guò)在統(tǒng)一框架下將視頻防抖與拼接相結(jié)合，可以獲得穩(wěn)定的動(dòng)態(tài)全景拼接圖像；結(jié)合構(gòu)建的水滴模型與相關(guān)投影矩陣，可為車輛提供實(shí)時(shí)3D全景環(huán)視圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種基于水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)拼接方法。

背景技術(shù)

隨著技術(shù)的不斷發(fā)展和人們對(duì)工作、生活需求的提高，汽車已經(jīng)走進(jìn)了千家萬(wàn)戶，成為人們生活中的必備品。駕駛員們希望汽車感知影像系統(tǒng)更加全面、廣闊、無(wú)死角地展現(xiàn)汽車周圍的環(huán)境信息，從而輔助駕駛員實(shí)現(xiàn)更加精準(zhǔn)安全的車輛控制?，F(xiàn)在，最新一代的汽車環(huán)視技術(shù)已經(jīng)能實(shí)現(xiàn)汽車周圍環(huán)境的3DAVM顯示，較為傳統(tǒng)的倒車影像技術(shù)也能為駕駛員提高一定的幫助。然而這些技術(shù)都是針對(duì)小轎車等乘用車型提出的，雖然能較好地滿足小轎車司機(jī)的感知需求，但當(dāng)面臨大型商用車車距大、車座高、車頭車尾不固連等特點(diǎn)時(shí)，傳統(tǒng)環(huán)視技術(shù)難以彌補(bǔ)大型車輛的周身盲區(qū)，給駕駛員的操作行為帶來(lái)諸多不便。因此，針對(duì)大型車輛的汽車環(huán)視感知技術(shù)漸漸凸顯其研究的迫切需求，尤其是解決其車頭車身不固連的感知難題與大型車輛之間相互遮擋的感知難題。

汽車環(huán)視技術(shù)在汽車周圍架設(shè)能覆蓋車輛周邊所有視場(chǎng)范圍的4到8個(gè)廣角攝像頭，對(duì)同一時(shí)刻采集到的多路視頻影像處理成一幅車輛周邊360度的車身俯視圖，最后在中控臺(tái)的屏幕上顯示，讓駕駛員清楚查看車輛周邊是否存在障礙物并了解障礙物的相對(duì)方位與距離，幫助駕駛員操作車輛。不僅非常直觀，而且不存在任何盲點(diǎn)，可以協(xié)助駕駛員從容操控車輛泊車入位或通過(guò)復(fù)雜路面，有效減少刮蹭、碰撞、陷落等事故的發(fā)生。目前的汽車環(huán)視技術(shù)假設(shè)相機(jī)與汽車固連，將整個(gè)車輛作為剛體進(jìn)行處理。整體的技術(shù)路線采用靜態(tài)拼接方法，首先對(duì)固連的多路相機(jī)分別進(jìn)行相機(jī)校正，獲取每路相機(jī)去畸變的圖像；其次分別計(jì)算每一路相機(jī)圖像到投影平面的變換參數(shù)，并制作查表；然后將各路圖像通過(guò)查表都投影在同一個(gè)投影平面上，并進(jìn)行圖像融合處理，形成統(tǒng)一的投影平面圖像；最后通過(guò)虛擬視點(diǎn)等方法將投影平面轉(zhuǎn)換到虛擬成像面上進(jìn)行顯示。目前，靜態(tài)拼接方法由于相機(jī)架設(shè)簡(jiǎn)單、參數(shù)計(jì)算容易，成像實(shí)時(shí)性高等優(yōu)點(diǎn)受到業(yè)內(nèi)人士的追捧。然而在面臨抖動(dòng)、轉(zhuǎn)動(dòng)等參數(shù)變化情況時(shí)，靜態(tài)拼接方法中的查表參數(shù)并不能隨之變化，這使得目前汽車環(huán)視技術(shù)無(wú)法適應(yīng)于卡車、掛車等會(huì)發(fā)生車體轉(zhuǎn)動(dòng)的大型非剛體特種車輛。

針對(duì)上述問(wèn)題，研究者們對(duì)圖像拼接的上游工作——特征點(diǎn)生成與匹配這一領(lǐng)域展開(kāi)了大量研究。截止2020年，目前最新的特征生成與匹配方法已能達(dá)到15FPS，初步滿足圖像預(yù)處理的實(shí)時(shí)性要求。卡車、掛車等會(huì)發(fā)生車體轉(zhuǎn)動(dòng)的汽車環(huán)視圖像的動(dòng)態(tài)拼接已經(jīng)成為可能。

因此，水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)動(dòng)態(tài)拼接方法為可轉(zhuǎn)動(dòng)的非剛體車輛提供汽車實(shí)時(shí)環(huán)視動(dòng)態(tài)拼接圖像，同時(shí)為車輛提供同一尺度下的三維感知視場(chǎng)融合模型，對(duì)特種車輛的感知顯示具有重要意義，有極高的實(shí)用價(jià)值。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)動(dòng)態(tài)拼接方法，根據(jù)特征點(diǎn)生成與匹配方法在汽車環(huán)視視覺(jué)系統(tǒng)設(shè)計(jì)、特征生成、特征匹配、圖像拼接與去抖、參數(shù)表更新、投影平面融合等方面對(duì)汽車環(huán)視系統(tǒng)進(jìn)行改進(jìn)，使汽車環(huán)視系統(tǒng)參數(shù)表具備更新能力，環(huán)視能力覆蓋卡車、掛車等會(huì)發(fā)生車體轉(zhuǎn)動(dòng)的大型非剛體特種車輛，為車輛提供同一尺度下的三維感知視場(chǎng)融合模型，使汽車環(huán)視技術(shù)能兼顧精度和效率，實(shí)現(xiàn)無(wú)盲區(qū)的實(shí)時(shí)動(dòng)態(tài)圖像拼接。

一種基于水滴態(tài)感知視場(chǎng)融合的單車環(huán)視圖像實(shí)時(shí)動(dòng)態(tài)拼接方法，包括以下步驟：

步驟S1、設(shè)置車輛環(huán)視視覺(jué)系統(tǒng)，并對(duì)車輛環(huán)視視覺(jué)系統(tǒng)參數(shù)進(jìn)行標(biāo)定；