[發明專利]基于三維的行車環境成像方法及裝置

有效

• 申請號: 201611186659.6
• 申請日: 2016-12-20
• 公開（公告）號: CN106846410B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 林春雨;韋世奎;馬珂;高奕;林鴻運;鄧偉平;李雅茹;黃奇;鐘洪波
• 申請（專利權）人: 北京鑫洋泉電子科技有限公司;北京交通大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T17/00;B60R1/00
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及基于三維的行車環境成像方法及裝置。該方法包括：檢測魚眼相機獲取的畸變圖中的特征點，并根據特征點對應的坐標對魚眼相機進行標定，得到畸變圖對應的校正圖；根據魚眼相機的相關參數確定第一矩陣；根據第一矩陣以及特征點在校正圖中的坐標確定第二矩陣；根據第二矩陣對校正圖進行透視投影變換，得到校正圖在虛擬成像面上對應的虛擬成像圖，并確定特征點在虛擬成像面上的坐標；建立三維行車環境模型；獲取虛擬成像圖的紋理；根據第一矩陣將虛擬成像圖的紋理貼在三維行車環境模型上。本公開能夠使車身周圍立面場景顯示真實，立體感強，且平面貼圖與立面貼圖過渡自然。

技術領域

本公開涉及全景成像技術領域，尤其涉及一種基于三維的行車環境成像方法及裝置。

背景技術

隨著人們生活水平的不斷提高，汽車已成為最重要的出行工具之一。汽車保有量的飛速增長，使行車安全問題越來越受到人們的關注。道路上事故頻發，嚴重影響人們的日常生活，甚至危害人們的生命安全。因此，汽車安全輔助駕駛系統應運而生，其中，視覺輔助駕駛系統的應用最廣。全景輔助駕駛系統是視覺輔助駕駛系統中能夠有效地提高行車安全的車載輔助設備之一。

目前汽車市場上流行的全景環視系統是利用二維重投影技術，將攝像頭獲取的圖像向二維平面上投射。該類系統只能將從車上方拍攝得到的俯視圖顯示出來，當車輛周圍存在三維物體時，其投影視角在俯視圖中會出現變形，給駕駛員造成視覺上的疑惑。例如，當車輛周圍存在行人時，在二維俯視畫面中會呈現為點狀以及影子的平面圖像。

上述的二維重投影技術，是兩個平面之間的透視投影變換，實現了畸變校正圖到俯視投影圖變換，但無法保留場景中視平線以上(立面物體)的信息。三維圖像技術能夠很好地解決上述問題。基于三維圖像技術，利用安裝在車輛周圍的多個攝像頭，通過攝像頭獲取車輛周圍的圖像，將這些圖像在三維模型上重新成像，能使車輛周圍的三維物體顯示出來。例如，可以通過建立3D(3dimensions，三維)模型，將矯正圖像投影到3D模型的不同區域，再顯示全景3D畫面。該方法雖然改善了2D(2dimensions，二維)投影的拉伸問題，但在全景圖像中，平面與立面的結合區域有較明顯的折痕感，過渡較不自然。

發明內容

有鑒于此，本公開提出了一種基于三維的行車環境成像方法及裝置，以解決三維全景圖像的平面與里面的結合區域過渡不自然的問題。

根據本公開的一方面，提供了一種基于三維的行車環境成像方法，包括：

檢測魚眼相機獲取的畸變圖中的特征點，并根據所述特征點對應的坐標對所述魚眼相機進行標定，得到所述畸變圖對應的校正圖；

根據所述魚眼相機的相關參數確定第一矩陣；

根據所述第一矩陣以及所述特征點在校正圖中的坐標確定第二矩陣；

根據所述第二矩陣對所述校正圖進行透視投影變換，得到所述校正圖在虛擬成像面上對應的虛擬成像圖，并確定所述特征點在所述虛擬成像面上的坐標；

建立三維行車環境模型；

獲取所述虛擬成像圖的紋理；

根據所述第一矩陣將所述虛擬成像圖的紋理貼在所述三維行車環境模型上。

在一種可能的實現方式中，檢測魚眼相機獲取的畸變圖中的特征點，并根據所述特征點對應的坐標對所述魚眼相機進行標定，得到所述畸變圖對應的校正圖，包括：

檢測所述魚眼相機獲取的畸變圖中的第一組特征點；

對所述畸變圖進行投影處理，得到所述畸變圖對應的投影圖；

檢測所述投影圖中的第二組特征點；

對所述投影圖進行反投影處理，得到所述畸變圖，并確定所述第一組特征點和所述第二組特征點在所述畸變圖的圖像坐標系中的坐標；