[發(fā)明專利]一種全景環(huán)視系統(tǒng)中的圖像拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710237136.8
• 申請(qǐng)日: 2017-04-12
• 公開(kāi)（公告）號(hào): CN107424120A
• 公開(kāi)（公告）日: 2017-12-01
• 發(fā)明（設(shè)計(jì)）人: 陳蓉;馬昊辰
• 申請(qǐng)（專利權(quán)）人: 湖南源信光電科技股份有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/62;G06T5/00
• 代理公司: 北京中濟(jì)緯天專利代理有限公司11429
• 代理人: 陸薇薇

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特指一種全景環(huán)視系統(tǒng)中的圖像拼接方法。

背景技術(shù)

隨著國(guó)家經(jīng)濟(jì)的快速發(fā)展，汽車總數(shù)量不斷增加，交通環(huán)境也變得日益擁堵，導(dǎo)致汽車經(jīng)常在狹小的環(huán)境中行駛。汽車通過(guò)狹窄道路或是車流穿行在狹窄的停車場(chǎng)中停車，由于駕駛員的視野受限，容易發(fā)生碰撞，造成不必要的損失。隨著數(shù)字處理器、攝像頭等設(shè)配的成本不斷降低，基于全景環(huán)視系統(tǒng)的汽車輔助系統(tǒng)將成為未來(lái)汽車視覺(jué)輔助系統(tǒng)的主流，而全景環(huán)視系統(tǒng)的重要技術(shù)手段是進(jìn)行全景環(huán)視圖像的拼接。通過(guò)全景環(huán)視圖像拼接獲得全景圖像并輸出到顯示器上，使得駕駛員可以全面的了解車身周圍的情況，從而降低車輛事故的發(fā)生。

基于魚(yú)眼攝像頭的全景環(huán)視圖像拼接步驟大致包括：圖像畸變校正、透視圖到俯視圖的俯視變換以及多幅圖像的拼接。魚(yú)眼鏡頭能夠獲取較大范圍的視角和完整的球面圖像，但是魚(yú)眼鏡頭的復(fù)雜光學(xué)結(jié)構(gòu)使得魚(yú)眼圖像存在嚴(yán)重的畸變，所以在圖像拼接之前，先要進(jìn)行圖像畸變校正。利用空間坐標(biāo)系變換的方法實(shí)現(xiàn)透視變換，該方法簡(jiǎn)單有效，只要確定攝像頭安裝參數(shù)(攝像頭位置、角度等安裝參數(shù))即可計(jì)算，但是如果安裝過(guò)程中存在誤差，直接按照安裝參數(shù)進(jìn)行俯視變換，并不能得到正確的俯視圖。雖然基于區(qū)域的圖像拼接方法與基于特征的圖像拼接方法都能完成圖像的拼接，但是此兩種拼接方法都要求拼接圖像之間存在一定范圍的重疊區(qū)域，并且圖像不能有太大失真。但是全景環(huán)視圖像拼接過(guò)程中的俯視變換和圖像差值運(yùn)算的圖像存在一定程度的失真，因此上述兩種拼接方法在進(jìn)行圖像拼接時(shí)無(wú)法取得較好的結(jié)果，甚至無(wú)法進(jìn)行全景環(huán)視圖像的拼接。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題為提出一種可以快速有效地進(jìn)行無(wú)縫拼接，生成全景環(huán)視?shū)B(niǎo)瞰圖的全景環(huán)視系統(tǒng)中的圖像拼接方法，生成的鳥(niǎo)瞰圖以360度視角顯示車輛周邊信息，可消除盲區(qū)和死角，具有很好的應(yīng)用價(jià)值。

為解決上述技術(shù)問(wèn)題，本發(fā)明采取的技術(shù)方案是包括如下步驟：

步驟1)結(jié)合間隔線訓(xùn)練模型和SVM算法進(jìn)行魚(yú)眼圖像畸變矯正，其包括：

S1.1構(gòu)建間隔線訓(xùn)練模型；

S1.2利用SVM算法進(jìn)行魚(yú)眼圖像矯正；

步驟2)利用世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系，結(jié)合后向映射方法進(jìn)行透視圖到俯視圖的變換，針對(duì)攝像機(jī)安裝存在誤差的情況，根據(jù)攝像機(jī)坐標(biāo)系統(tǒng)圍繞X_C、Y_C、Z_C軸的偏轉(zhuǎn)角度重新校正俯視變換圖像，然后建立圖像俯視變換查找表來(lái)實(shí)現(xiàn)快速的俯視變換，獲得鳥(niǎo)瞰圖，其包括：

S2.1建立世界坐標(biāo)系和攝像機(jī)坐標(biāo)系；

S2.2利用后向映射方法求解俯視變換；

S2.3針對(duì)攝像機(jī)安裝存在誤差的情況，構(gòu)造并最小化關(guān)于攝像機(jī)坐標(biāo)系統(tǒng)圍繞X_C、Y_C、Z_C軸偏轉(zhuǎn)的偏轉(zhuǎn)角dα、dβ、dγ目標(biāo)函數(shù)來(lái)獲取各個(gè)偏轉(zhuǎn)角的最優(yōu)值，然后重新校正俯視變換圖像，獲得更加精確的俯視變換圖；

S2.4建立圖像俯視變換查找表實(shí)現(xiàn)快速的俯視變換，獲得鳥(niǎo)瞰圖；

步驟3)確定圖像拼接的縫隙，進(jìn)行車輛正向圖像和側(cè)向圖像之間的圖像拼接以及全景圖像拼接，然后生成全景圖像拼接映射表，通過(guò)查找全景圖像拼接映射表的方式快速地獲得全景環(huán)視?shū)B(niǎo)瞰圖；

S3.1進(jìn)行正向圖像與側(cè)向圖像之間的拼接，獲得全景鳥(niǎo)瞰圖；

S3.2建立全景拼接映射表，完成全景圖像拼接；

步驟4)利用改進(jìn)的亮度調(diào)和處理算法解決兩兩拼接圖像間的亮度差別，然后采用加權(quán)平均法的圖像融合方法進(jìn)一步消除拼接縫。

作為本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)，所述步驟1)中，

所述間隔線訓(xùn)練模型包括若干水平直線，所述若干水平直線自下往上寬度以1.3倍遞增，相鄰水平直線間隔寬度自下往上以1.3倍遞增，所述若干水平直線中某條水平直線上設(shè)置了若干個(gè)交叉線；

所述利用SVM算法進(jìn)行魚(yú)眼圖像矯正包括利用SVM算法進(jìn)行魚(yú)眼圖像的畸變矯正時(shí)對(duì)應(yīng)的SVM訓(xùn)練器的輸入和輸出分別為物理空間中的像點(diǎn)的徑向距離和對(duì)應(yīng)魚(yú)眼圖像中像點(diǎn)的徑向距離，再對(duì)SVM訓(xùn)練器的輸入和輸出數(shù)據(jù)進(jìn)行分類和擬合非線性函數(shù)，利用多組樣本進(jìn)行多次訓(xùn)練，回歸擬合出轉(zhuǎn)換模型，從而構(gòu)建出了矯正后魚(yú)眼圖像和畸變魚(yú)眼圖像對(duì)應(yīng)像素坐標(biāo)的映射關(guān)系。