[發(fā)明專利]一種汽車?guó)B瞰全景圖生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110177542.6
• 申請(qǐng)日: 2021-02-07
• 公開(kāi)（公告）號(hào): CN112802109A
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 趙杰
• 申請(qǐng)（專利權(quán)）人: 的盧技術(shù)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/80;G06T5/00
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 姜慧勤

1.一種汽車?guó)B瞰全景圖生成方法，其特征在于，包括如下步驟：

步驟1，選擇一標(biāo)定區(qū)域，在該標(biāo)定區(qū)域內(nèi)用多個(gè)線激光器打上5條標(biāo)記線，其中4條組成一矩形激光器區(qū)域，另外1條為該矩形激光器區(qū)域長(zhǎng)邊的中心線；

步驟2，在汽車的左前、右前、左后、右后、車前、車后、車左和車右八個(gè)位置，每個(gè)位置安裝1個(gè)相機(jī)，8個(gè)相機(jī)總的視野范圍覆蓋車身周圍360度，且相鄰兩個(gè)相機(jī)的視野范圍存在重疊部分；

步驟3，將汽車移動(dòng)到矩形激光器區(qū)域的中心，建立車輛坐標(biāo)系，計(jì)算矩形激光器區(qū)域的四個(gè)頂點(diǎn)以及該矩形激光器區(qū)域兩條長(zhǎng)邊的中點(diǎn)在車輛坐標(biāo)系下的坐標(biāo)；

步驟4，在每個(gè)相機(jī)的視野范圍內(nèi)擺放棋盤格，并采集各相機(jī)視野范圍內(nèi)的棋盤格圖像，計(jì)算棋盤格上各角點(diǎn)在車輛坐標(biāo)系下的坐標(biāo)；

步驟5，根據(jù)采集的棋盤格圖像，計(jì)算圖像坐標(biāo)系下各角點(diǎn)的坐標(biāo)；

步驟6，計(jì)算各棋盤格圖像對(duì)應(yīng)的投影變換矩陣，根據(jù)投影變換矩陣將棋盤格圖像轉(zhuǎn)換為鳥(niǎo)瞰圖像；

步驟7，將所有的鳥(niǎo)瞰圖像拼接起來(lái)得到汽車?guó)B瞰全景圖。

2.根據(jù)權(quán)利要求1所述汽車?guó)B瞰全景圖生成方法，其特征在于，所述步驟3的具體過(guò)程如下：

步驟3.1，將汽車移動(dòng)到矩形激光器區(qū)域的中心，并確保車頭中心與矩形激光器區(qū)域其中一條長(zhǎng)邊的中點(diǎn)對(duì)齊，車尾中心與矩形激光器區(qū)域另一條長(zhǎng)邊的中點(diǎn)對(duì)齊；

步驟3.2，以汽車中心點(diǎn)為車輛坐標(biāo)系的中心，汽車中心點(diǎn)往右為X軸正方向，汽車中心點(diǎn)往上為Y軸正方向，建立車輛坐標(biāo)系；

步驟3.3，計(jì)算矩形激光器區(qū)域的四個(gè)頂點(diǎn)以及該矩形激光器區(qū)域兩條長(zhǎng)邊的中點(diǎn)在車輛坐標(biāo)系下的坐標(biāo)。

3.根據(jù)權(quán)利要求1所述汽車?guó)B瞰全景圖生成方法，其特征在于，所述步驟4的具體過(guò)程如下：

步驟4.1，在每個(gè)相機(jī)的視野范圍內(nèi)擺放一3*4的棋盤格，并確保棋盤格的長(zhǎng)邊與矩形激光器區(qū)域的長(zhǎng)邊平行；

步驟4.2，采集每個(gè)相機(jī)視野范圍內(nèi)的棋盤格圖像，并測(cè)量各棋盤格圖像左上角在車輛坐標(biāo)系下的坐標(biāo)；

步驟4.3，根據(jù)棋盤格的實(shí)際尺寸，推算得到棋盤格各角點(diǎn)在車輛坐標(biāo)系下的坐標(biāo)。

4.根據(jù)權(quán)利要求1所述汽車?guó)B瞰全景圖生成方法，其特征在于，所述步驟5的具體過(guò)程如下：

步驟5.1，對(duì)采集的棋盤格圖像進(jìn)行畸變矯正；

步驟5.2，利用開(kāi)源視覺(jué)算法庫(kù)opencv中的findChessboardCorners()和cornerSubPix()，提取畸變矯正后的圖像中的棋盤格角點(diǎn)坐標(biāo)。

5.根據(jù)權(quán)利要求1所述汽車?guó)B瞰全景圖生成方法，其特征在于，所述步驟6的具體過(guò)程如下：

步驟6.1，在汽車正上方設(shè)置一虛擬相機(jī)，其光軸垂直于地平面π，通過(guò)虛擬相機(jī)拍攝得到車身周圍的虛擬鳥(niǎo)瞰圖，設(shè)定虛擬相機(jī)滿足針孔投影模型，則其內(nèi)參矩陣K₁如下：

其中，u₀＝(W-1)*0.5，v₀＝(H-1)*0.5，f_x＝(w₀*d)/W，f_y＝(w₁*d)/H，u₀、v₀分別為X、Y方向平移的距離，f_x、f_y分別為焦距f在X、Y方向的投影，W、H分別為虛擬鳥(niǎo)瞰圖的寬度、長(zhǎng)度，w₀、w₁分別為相機(jī)物理平面的寬度、長(zhǎng)度，d為虛擬相機(jī)距地平面的高度；

步驟6.2，計(jì)算各棋盤格圖像對(duì)應(yīng)的投影變換矩陣，根據(jù)投影變換矩陣將棋盤格圖像轉(zhuǎn)換為鳥(niǎo)瞰圖像；具體為：

Step1，當(dāng)棋盤格圖像為安裝在汽車右前位置的相機(jī)所采集的圖像時(shí)，通過(guò)pnp算法計(jì)算地平面π相對(duì)于虛擬相機(jī)的旋轉(zhuǎn)矩陣R₁和平移向量t₁，以及地平面π相對(duì)于右前相機(jī)的旋轉(zhuǎn)矩陣R₂和平移向量t₂；

Step2，計(jì)算虛擬相機(jī)與右前相機(jī)的轉(zhuǎn)換關(guān)系：

X₁＝R₁*X_w+t₁

X₂＝R₂*X_w+t₂

則X₂＝R₂*R₁^-1*X₁+t₂-R₂*R₁^-1*t₁，其中，X₁、X₂分別為虛擬相機(jī)、右前相機(jī)坐標(biāo)系下的棋盤格角點(diǎn)坐標(biāo)，X_w為車輛坐標(biāo)系下的棋盤格角點(diǎn)坐標(biāo)；

Step3，設(shè)定地平面π在虛擬相機(jī)坐標(biāo)系下的單位法向量為N，則

已知X₂＝RX₁+T，R＝R₂*R₁^-1，T＝t₂-R₂*R₁^-1*t₁，則地平面π在虛擬相機(jī)和右前相機(jī)坐標(biāo)系下的位置關(guān)系為：

其中，

Step4，已知x₁＝K₁X₁，x₂＝K₂X₂，其中，K₂為右前相機(jī)內(nèi)參矩陣，x₁、x₂分別為虛擬相機(jī)、右前相機(jī)圖像坐標(biāo)系下的棋盤格角點(diǎn)坐標(biāo)，則

則投影變換矩陣為根據(jù)投影變換矩陣將棋盤格圖像轉(zhuǎn)換為鳥(niǎo)瞰圖像P_r＝HP_L，其中，P_r為鳥(niǎo)瞰圖像坐標(biāo)系下的棋盤格角點(diǎn)坐標(biāo)，P_L為右前相機(jī)圖像坐標(biāo)系下的棋盤格角點(diǎn)坐標(biāo)。