[發明專利]一種車載環視圖像的自動拼接方法及顯示裝置

有效

• 申請號: 202010016296.1
• 申請日: 2020-01-08
• 公開（公告）號: CN111223038B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 肖文平;黃會明;石川;張航
• 申請（專利權）人: 上海赫千電子科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種車載環視圖像的自動拼接方法，其特征在于，包括：

步驟S1，將需要顯示的環視區域虛擬成三維空間，并在需要顯示環視區域的位置放置多個用于相機標定的標定物；

步驟S2，通過標定物中的特征點坐標與其對應的三維空間特征點的坐標，計算出相機中的二維圖像坐標轉化到三維空間的坐標的轉化矩陣；

所述相機安裝于車身四周，用于采集車身四周的圖像；

步驟S3，并將用于環視顯示的二維圖像上的每個像素點通過轉化矩陣轉化到三維空間點中并獲取二維像素點對應的三維空間的位置坐標，將相匹配的位置坐標進行融合從而完成圖像的拼接；

所述步驟S2中的轉化矩陣包括旋轉矩陣R和平移矩陣T；

所述步驟S3中，計算相機中的二維圖像坐標轉化到三維空間的坐標的轉化矩陣具體包括：

在環視顯示區域的場地布置多個棋盤格，每個棋盤格都對應場地的一個具體三維空間位置；

建立場地的三維坐標系C(X,Y,Z)，根據棋盤格角點在坐標系C下的坐標，建立所有棋盤格角點的三維坐標；

建立空間點的三維坐標轉化到相機中二維坐標的映射關系；

已知棋盤格上對應在虛擬三維空間的三維坐標為[X_i,Y_i,0]，通過角點檢測算法檢測出來對應的二維坐標為[u_i,v_i]，則二維坐標[u_i,v_i]與虛擬三維空間的三維坐標[X_i,Y_i,0]的關系如下：

A＝MP，

其中，

2.如權利要求1所述的一種車載環視圖像的自動拼接方法，其特征在于，所述標定物包括棋盤格。

3.如權利要求1所述的一種車載環視圖像的自動拼接方法，其特征在于，所述相機包括魚眼相機；

建立空間點的三維坐標轉化到相機中二維坐標的映射關系包括：

建立三維點到畸變矯正圖像的映射關系，建立畸變矯正圖像到魚眼相機的映射關系；

所述建立三維點到畸變矯正圖像的映射關系包括：設空間一點P(x,y,z)，對應的在畸變矯正圖像上的二維點關系式為：

(u′,v′)＝f₁(x,y,z)

建立畸變矯正圖像到魚眼相機的映射關系包括：對應的魚眼圖像坐標點p(u′,v′)與畸變矯正后的圖像點p(u,v)坐標關系式為：

(u,v)＝f₂(u′,v′)

三維點到魚眼圖像二維坐標的映射關系為：

(u,v)＝f₂(f₁(x,y,z))。

4.如權利要求1所述的一種車載環視圖像的自動拼接方法，其特征在于，棋盤格中的特征點包括角點；

棋盤格在需要環視顯示的空間位置進行擺放的，在地面上建立虛擬三維空間并設定z軸為0，從而建立了棋盤格角點在虛擬三維空間中的各個角點對應的三維數據；

棋盤格中的角點在相機中二維圖像的像素坐標轉化為虛擬三維空間中的各個角點對應的三維坐標的關系式如下：

其中，(u,v)表示圖像的二維坐標、(X,Y,Z)表示虛擬三維空間中的三維坐標，f_u和f_v分別表示相機在圖像的橫軸和縱軸上的基于像素的焦距，(C_x,C_y)表示圖像的中心點坐標、R和T分別表示相機坐標到世界坐標的轉換關系，即兩個坐標系的旋轉和平移向量、(X,Y,Z)表示物體在世界坐標系下的三維坐標，即前面設置的虛擬三維坐標平面，這里設置Z＝0，其中，Height和Width分別表示成像平面內圖像的高度和寬度；d_x,d_y分別表示相機在橫軸和縱軸的像元尺寸，f為相機的焦距。