[發(fā)明專利]一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910037297.1
• 申請(qǐng)日: 2019-01-15
• 公開（公告）號(hào): CN111435540A
• 公開（公告）日: 2020-07-21
• 發(fā)明（設(shè)計(jì)）人: 邵玄;劉瀟;張林
• 申請(qǐng)（專利權(quán)）人: 蘇州沃邁智能科技有限公司
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T3/40
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 宣慧蘭

1.一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，所述車載環(huán)視系統(tǒng)包括設(shè)置在車輛周圍的多個(gè)相機(jī)，其特征在于，該方法包括以下步驟：

S1、對(duì)車載環(huán)視系統(tǒng)的每個(gè)相機(jī)進(jìn)行內(nèi)參標(biāo)定，得到相機(jī)的內(nèi)參矩陣和畸變參數(shù)；

S2、以其中一個(gè)相機(jī)的坐標(biāo)系作為參考坐標(biāo)系，根據(jù)相鄰相機(jī)之間的變換矩陣將其他相機(jī)的坐標(biāo)系和相鄰相機(jī)的公共角點(diǎn)變換到參考坐標(biāo)系下，根據(jù)環(huán)視相機(jī)系統(tǒng)中相機(jī)位姿的閉環(huán)關(guān)系通過優(yōu)化方法得到相機(jī)位姿；

S3、求出地面所在的平面在參考坐標(biāo)系下的表達(dá)式，根據(jù)各個(gè)相機(jī)中心在參考坐標(biāo)系下的坐標(biāo)設(shè)定地面坐標(biāo)系的原點(diǎn)、X軸、Y軸和Z軸，得到地面坐標(biāo)系；

S4、通過車載環(huán)視系統(tǒng)獲得環(huán)視圖像，將環(huán)視圖像分成分別與每個(gè)相機(jī)對(duì)應(yīng)的多個(gè)部分，根據(jù)環(huán)視圖像各部分與相機(jī)之間的對(duì)應(yīng)關(guān)系、環(huán)視圖像與地面坐標(biāo)系之間的變換關(guān)系、相機(jī)與地面坐標(biāo)系之間的變換矩陣以及相機(jī)的內(nèi)參矩陣和畸變參數(shù)，求出環(huán)視圖像各像素與每個(gè)相機(jī)采集的圖像的對(duì)應(yīng)關(guān)系，并建立查找表，通過查找表拼接環(huán)視圖像。

2.根據(jù)權(quán)利要求1所述的一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，其特征在于，所述步驟S1具體包括：

S11、使用車載環(huán)視系統(tǒng)的每個(gè)相機(jī)分別采集若干張棋盤格標(biāo)定板圖像；

S12、檢測(cè)標(biāo)定板圖像中的棋盤格角點(diǎn)；

S13、根據(jù)檢測(cè)到的棋盤格角點(diǎn)求出相機(jī)的內(nèi)參矩陣和畸變參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，其特征在于，所述步驟S2中相鄰相機(jī)之間的變換矩陣的獲取方法包括：

將標(biāo)定板分別置于相鄰兩個(gè)相機(jī)的公共視野區(qū)域，采集成對(duì)的標(biāo)定圖像；檢測(cè)成對(duì)的標(biāo)定圖像中的棋盤格角點(diǎn)，并確定兩張圖像中角點(diǎn)之間的一一對(duì)應(yīng)關(guān)系，得到棋盤格角點(diǎn)對(duì)；根據(jù)棋盤格角點(diǎn)對(duì)求出相鄰相機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，將二者合并為變換矩陣。

4.根據(jù)權(quán)利要求3所述的一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，其特征在于，所述步驟S2中相鄰相機(jī)的公共角點(diǎn)變換到參考坐標(biāo)系下的過程具體包括：

使用三角化方法求出相鄰兩個(gè)相機(jī)的棋盤格角點(diǎn)對(duì)中公共角點(diǎn)的三維坐標(biāo)，變換到參考坐標(biāo)系下。

5.根據(jù)權(quán)利要求1所述的一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，其特征在于，所述通過優(yōu)化方法得到相機(jī)位姿包括：通過光束法平差同時(shí)優(yōu)化相機(jī)位姿和三維點(diǎn)坐標(biāo)，得到優(yōu)化后的相機(jī)位姿。

6.根據(jù)權(quán)利要求1所述的一種車載環(huán)視系統(tǒng)的環(huán)視圖拼接方法，其特征在于，所述步驟S3具體包括：

S31、將標(biāo)定板依次置于四個(gè)攝像頭視野內(nèi)的地面上，并采集圖像；

S32、檢測(cè)步驟S31采集的圖像中的棋盤格角點(diǎn)，并根據(jù)步驟S2求出的相機(jī)位姿求出棋盤格角點(diǎn)在參考坐標(biāo)系下的三維坐標(biāo)；

S33、根據(jù)步驟S32得到的棋盤格角點(diǎn)的三維坐標(biāo)擬合出地面所在的平面在參考坐標(biāo)系下的表達(dá)式；

S34、根據(jù)相機(jī)位姿求出每個(gè)相機(jī)中心在參考坐標(biāo)系下的坐標(biāo)，將所有相機(jī)中心的坐標(biāo)取平均作為環(huán)視相機(jī)系統(tǒng)的中心點(diǎn)的坐標(biāo)，將中心點(diǎn)投影到步驟S33得到的地面所在的平面上，將該投影點(diǎn)作為地面坐標(biāo)系的原點(diǎn)；

S35、將前視相機(jī)的中心投影到地面所在的平面上得到前視相機(jī)投影點(diǎn)，將地面坐標(biāo)系的原點(diǎn)指向前視相機(jī)投影點(diǎn)的向量作為地面坐標(biāo)系的Y軸方向向量，將與Y軸方向向量垂直并處在地面所在的平面上的向量作為地面坐標(biāo)系的X軸方向向量，將X軸方向向量和Y軸方向向量做外積，求得Z軸方向向量；

S36、根據(jù)得到的地面坐標(biāo)系的原點(diǎn)、X軸方向向量、Y軸方向向量和Z軸方向向量確定地面坐標(biāo)系。