[發明專利]一種車載環視圖像的自動拼接方法及顯示裝置

有效

• 申請號: 202010016296.1
• 申請日: 2020-01-08
• 公開（公告）號: CN111223038B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 肖文平;黃會明;石川;張航
• 申請（專利權）人: 上海赫千電子科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種車載環視圖像的自動拼接方法及裝置，具體包括：將需要顯示的環視區域虛擬成三維空間，并在需要顯示環視區域的位置放置多個用于相機標定的標定物，計算出相機中的二維圖像坐標轉化到三維空間的坐標的轉化矩陣R，T；并將用于環視顯示的二維圖像上的每個像素點通過轉化矩陣轉化到三維空間點中并獲取二維像素點對應的三維空間的位置坐標，將相匹配的位置坐標進行融合從而完成圖像的拼接。本發明創新的將圖像拼接方法轉換到虛擬的三維空間，通過標定出虛擬三維空間與圖像之間的變換關系，從而將圖像信息映射到虛擬三維空間去，這種方法可以將圖像上每個像素都進行全局拼接，從而提高了拼接的精度。

技術領域

本發明涉及汽車領域，尤其涉及一種車載環視圖像的自動拼接方法及顯示裝置。

背景技術

隨著汽車的普及，越來越多的汽車進入千家萬戶，人民生活消費水平的不斷提高，汽車的數量也不斷的增多，大家對車內電器的智能化要求越來越高，智能汽車中ADAS、車載360全景影像都成為高配車型的重要配置。車載3D環視系統利用安裝在車輛四周的廣角攝像頭重構車輛以及周圍場景，生成車載環視全景圖像。駕駛員可以通過觀察全景圖像安全泊車、避開障礙物和消除視覺盲區，達到安全行車的目的。車載環視系統的概念由k.kato等人于2006年首先提出。之后，各種主動安全技術如行車線檢測、停車位檢測跟蹤和輔助泊車、運動物體檢測被應用在車載環視系統上。Byeongchaen?Jeon等人于2015年提出了高分辨率全景環視系統的解決方案。這些方案的特點都是使用多路相機來完成實際場景的建模，產生包括2D和偽3D的視覺效果。其中相機的個數根據實際車型來確定，一般家用轎車都是采用4路魚眼相機來就行建模的，最終的目的就是將多路相機的圖像統一到同一個視覺坐標系下，形成一個完整的視場供駕駛員來觀察車輛周圍的情況。傳統的環視拼接方法是基于圖像的單應矩陣完成圖像的全局拼接，但是這種方法對拼接使用的棋盤格角度檢測的精度要求比較高，而且棋盤格只占據視場的小部分，無法精確標定出整個視場，往往會出現拼接不上有縫隙的現象，影響用戶的體驗，甚至造成錯誤的顯示圖像。因此現有技術中仍然存在缺陷，需要提供一種解決該缺陷的技術方案。

發明內容

基于現有技術中存在的缺陷，本發明要解決的技術問題在于無縫全局高精度的環視圖像拼接方法和顯示裝置。

一種車載環視圖像的自動拼接方法，包括：

步驟S1，將需要顯示的環視區域虛擬成三維空間，并在需要顯示環視區域的位置放置多個用于相機標定的標定物；

步驟S2，通過標定物中的特征點坐標與其對應的三維空間特征點的坐標，計算出相機中的二維圖像坐標轉化到三維空間的坐標的轉化矩陣；

所述相機安裝于車身四周，用于采集車身四周的圖像；

步驟S3，并將用于環視顯示的二維圖像上的每個像素點通過轉化矩陣轉化到三維空間點中并獲取二維像素點對應的三維空間的位置坐標，將相匹配的位置坐標進行融合從而完成圖像的拼接；

所述步驟S2中的轉化矩陣包括旋轉矩陣R和平移矩陣T。

一種車載環視圖像的自動拼接方法，進一步地，所述標定物包括棋盤格。

一種車載環視圖像的自動拼接方法，進一步地，所述步驟S2中，標定物包括棋盤格；

計算相機中的二維圖像坐標轉化到三維空間的坐標的轉化矩陣具體包括：

在環視顯示區域的場地布置多個棋盤格，每個棋盤格都對應場地的一個具體三維空間位置；

建立場地的三維坐標系C(X,Y,Z),根據棋盤格角點在坐標系C下的坐標，建立所有棋盤格角點的三維坐標；

建立空間點的三維坐標轉化到相機中二維坐標的映射關系。

一種車載環視圖像的自動拼接方法，進一步地，所述相機包括魚眼相機；