[發明專利]用于相機建模和虛擬視圖合成的成像表面建模

有效

• 申請號: 201310471723.5
• 申請日: 2013-10-11
• 公開（公告）號: CN103778649B
• 公開（公告）日: 2018-08-31
• 發明（設計）人: W.張;J.王;B.B.利特庫希;K.S.利貝克;R.M.弗拉克斯
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;B60R1/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 鄧雪萌;楊炯

本發明涉及用于相機建模和虛擬視圖合成的成像表面建模。一種用于在顯示裝置上顯示捕獲的圖像的方法。實際圖像由基于視覺的成像裝置捕獲。虛擬圖像基于由處理器的映射從捕獲的實際圖像產生。映射使用具有非平面成像表面的虛擬相機模型。將形成在虛擬相機模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。

相關申請的交叉引用

本申請要求了2012年10月11日提交的、序號為61/712,433的美國臨時申請的優先權，其內容在此結合作為參考。

技術領域

實施例總體上涉及用于車輛內視覺系統的圖像捕獲和處理。

背景技術

車輛系統通常使用用于后視景像檢測、側視景像檢測、以及前視景像檢測的車輛內視覺系統。對于那些需要圖解道路覆蓋層或強調捕獲圖像的區域的應用，關鍵的是精確地校準相機相對于車輛與周圍目標的定位與定向。采用來自裝置的捕獲的輸入圖像并且重新建模圖像以示出或增強捕獲圖像的各個區域的相機建模必須在對圖像不畸變至對觀看重顯圖像的人而言變得不可使用或不準確的情況下對圖像內的全部對像再次定位的模型。

車輛上當前的后方備份相機典型地是寬FOV相機，例如135°FOV。寬FOV相機典型地提供引起圍繞圖像邊緣的圖像畸變的弧形圖像。本領域中公知的各種方法以提供用于這些類型的相機的圖像的畸變修正包括使用基于針孔相機的模型和通過限定徑向參數對徑向畸變做修正。

為了對周圍的事物提供精確的描述，例如環境圖像或超寬圖像，可以使用超款視野的相機。這樣的相機典型地被認為是魚眼相機，因為它們的圖像顯著地成弧形。對于用于各種駕駛方案（例如備份應用）的圖像是實際的，圖像中的畸變必須修正并且圖像的焦點（可利用的停車點）需要提高的那些部分必須展示從而畸變不會降低圖像。傳統的虛擬相機建模使用展現相機內的平面圖像傳感器的平面成像表面；然而，當投影到顯示裝置上時，這樣的系統僅可以進行有限的畸變修正特征。這樣的顯示剩下未修正的或必須應用復雜的程序以除去畸變。

發明內容

在此描述的本發明的優點是虛擬圖像可以利用相機視圖合成一個或多個相機使用各種成像效應而合成。成像效應包括產生除實際相機捕獲實際圖像的外的不同相機姿態觀看。例如，如果實際相機位于車輛直接垂直于地面看上方，具有其光軸從水平位置向下30度的備份相機可以建模并且合成，用于顯示由上而下的視圖。在此描述的技術使用用于對在虛擬相機模型中的捕獲圖像建模的非平面的成像表面，然而傳統的虛擬相機建模方法使用捕獲的平面的平面表面。

此外，可以使用各種任意形狀用于增強捕獲圖像的區域。例如，通過使用橢圓成像表面，在沒有切斷或畸變圖像的端部的情況下，圖像的中心部分可以增強（縮放）。各種非平面成像表面可以動態地插入在虛擬相機模型內用于基于車輛的工作條件合成視圖。示例是來自轉向信號指示器的信號，其提供至處理器，其中使用增強車輛轉向的區域或方向的非平面表面。

一種用于在顯示裝置上顯示捕獲的圖像的方法。實際圖像由基于視覺的成像裝置捕獲。基于由處理器的映射從捕獲的實際圖像產生虛擬圖像。映射使用具有非平面成像表面的虛擬相機模型。將形成在虛擬相機模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。

本發明還提供了以下方案：

1. 一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟：

由基于視覺的成像裝置捕獲實際圖像；

基于由處理器的映射從捕獲的實際圖像產生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機模型；

將形成在虛擬相機模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上。

2. 根據方案1所述的方法，其中產生虛擬圖像包括步驟：

由處理器提供預校準的實際相機模型，實際相機模型表示基于視覺的成像裝置捕獲景象；