[發(fā)明專利]車載圖像拼接方法、系統(tǒng)以及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011211534.0
• 申請(qǐng)日: 2020-11-03
• 公開(kāi)（公告）號(hào): CN112308984A
• 公開(kāi)（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 何恒;蘇文凱
• 申請(qǐng)（專利權(quán)）人: 豪威科技（武漢）有限公司
• 主分類號(hào): G06T19/20
• 分類號(hào): G06T19/20;G06T17/00
• 代理公司: 上海思微知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31237
• 代理人: 曹廷廷

本發(fā)明提供一種圖像拼接方法、圖像拼接系統(tǒng)以及圖像拼接裝置，其通過(guò)構(gòu)建三維數(shù)學(xué)模型，將獲取的至少兩個(gè)初始圖像映射到三維數(shù)學(xué)模型中以形成至少兩個(gè)轉(zhuǎn)化圖像，相鄰兩個(gè)轉(zhuǎn)化圖像分別具有圖像內(nèi)容相同且重疊的重疊區(qū)，且每個(gè)重疊的一側(cè)均具有融合權(quán)重小于預(yù)設(shè)融合權(quán)重閾值的第一重疊區(qū)，以及分別位于相鄰兩個(gè)轉(zhuǎn)化圖像中的兩個(gè)第一重疊區(qū)對(duì)應(yīng)設(shè)置。并通過(guò)去除位于第一重疊區(qū)的特征點(diǎn)，以降低融合權(quán)重較低的第一重疊區(qū)的特征點(diǎn)對(duì)融合結(jié)果的干擾，進(jìn)而防止產(chǎn)生融合不平滑，而導(dǎo)致的拼接圖像扭曲的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像拼接領(lǐng)域，特別涉及一種車載圖像拼接方法、系統(tǒng)以及裝置。

背景技術(shù)

隨著汽車的普及，越來(lái)越多的汽車進(jìn)入千家萬(wàn)戶，人民生活消費(fèi)水平的不斷提高，汽車的數(shù)量也不斷的增多，大家對(duì)車內(nèi)電器的智能化要求越來(lái)越高，智能汽車中ADAS、車載360全景影像都成為高配車型的重要配置。車載3D環(huán)視系統(tǒng)利用安裝在車輛四周的廣角攝像頭重構(gòu)車輛以及周圍場(chǎng)景，生成車載環(huán)視全景圖像。駕駛員可以通過(guò)觀察全景圖像安全泊車、避開(kāi)障礙物和消除視覺(jué)盲區(qū)，達(dá)到安全行車的目的。

車載環(huán)視系統(tǒng)的概念由k.kato等人于2006年首先提出。之后，各種主動(dòng)安全技術(shù)如行車線檢測(cè)、停車位檢測(cè)跟蹤和輔助泊車、運(yùn)動(dòng)物體檢測(cè)被應(yīng)用在車載環(huán)視系統(tǒng)上。Byeongchaen Jeon等人于2015年提出了高分辨率全景環(huán)視系統(tǒng)的解決方案。這些方案的特點(diǎn)都是使用多路相機(jī)來(lái)完成實(shí)際場(chǎng)景的建模，產(chǎn)生包括2D和偽3D的視覺(jué)效果。其中相機(jī)的個(gè)數(shù)根據(jù)實(shí)際車型來(lái)確定，一般家用轎車都是采用4路魚(yú)眼相機(jī)來(lái)就行建模的，最終的目的就是將多路相機(jī)的圖像統(tǒng)一到同一個(gè)視覺(jué)坐標(biāo)系下，形成一個(gè)完整的視場(chǎng)供駕駛員來(lái)觀察車輛周圍的情況。

現(xiàn)有的車載環(huán)視系統(tǒng)中進(jìn)行圖像拼接時(shí)，相鄰需要拼接的重疊區(qū)的場(chǎng)景具有較大景深差異時(shí),使用一個(gè)全局的單應(yīng)性矩陣很難將不同景深的物體都對(duì)齊，進(jìn)而使得融合的結(jié)果不平滑，最終導(dǎo)致生成扭曲的拼接圖像出現(xiàn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供車載圖像拼接方法、系統(tǒng)以及裝置，以解決現(xiàn)有的車載圖像拼接方法進(jìn)行圖像拼接時(shí)，融合結(jié)果不夠平滑，導(dǎo)致生成的拼接圖像扭曲的問(wèn)題。

為解決上述問(wèn)題，本發(fā)明提供一種車載圖像拼接方法，包括：

獲取至少兩個(gè)初始圖像；

構(gòu)建具有世界坐標(biāo)系的三維數(shù)學(xué)模型，將至少兩個(gè)所述初始圖像依次映射到所述三維數(shù)學(xué)模型中，以形成至少兩個(gè)相鄰的轉(zhuǎn)化圖像，相鄰兩個(gè)所述轉(zhuǎn)化圖像分別具有圖像內(nèi)容相同且重疊的重疊區(qū)，每個(gè)所述重疊區(qū)的一側(cè)均具有融合權(quán)重小于預(yù)設(shè)融合權(quán)重閾值的第一重疊區(qū)，且分別位于相鄰兩個(gè)所述轉(zhuǎn)化圖像中的兩個(gè)所述第一重疊區(qū)對(duì)應(yīng)設(shè)置；

提取位于所述重疊區(qū)的多個(gè)特征點(diǎn)，并去除位于所述第一重疊區(qū)的所述特征點(diǎn)，以更新所述轉(zhuǎn)化圖像；

對(duì)相鄰兩個(gè)更新后的所述轉(zhuǎn)化圖像的重疊區(qū)進(jìn)行融合，以生成拼接圖像。

可選的，去除位于所述第一重疊區(qū)的所述特征點(diǎn)之前，所述車載圖像拼接方法還包括：

映射至少兩個(gè)相鄰的所述轉(zhuǎn)化圖像以形成至少兩個(gè)相鄰的俯視圖像，所述重疊區(qū)經(jīng)映射后形成俯視重疊區(qū)，每個(gè)所述俯視重疊區(qū)的一側(cè)均具有融合權(quán)重小于預(yù)設(shè)融合權(quán)重閾值的第一俯視重疊區(qū)，且分別位于相鄰兩個(gè)所述俯視圖像中的兩個(gè)所述第一俯視重疊區(qū)對(duì)應(yīng)設(shè)置；以及，

更新所述轉(zhuǎn)化圖像的方法包括：

提取所述俯視重疊區(qū)的多個(gè)俯視特征點(diǎn)，并去除位于所述第一俯視重疊區(qū)的所述俯視特征點(diǎn)；

根據(jù)所述俯視重疊區(qū)剩余的所述俯視特征點(diǎn)，更新所述俯視圖像，并將更新后的所述俯視圖像映射至所述三維數(shù)學(xué)模型中，以更新所述轉(zhuǎn)化圖像。

可選的，去除位于所述第一俯視重疊區(qū)的所述俯視特征點(diǎn)的方法包括：