[發明專利]用于相機建模和虛擬視圖合成的成像表面建模

有效

• 申請號: 201310471723.5
• 申請日: 2013-10-11
• 公開（公告）號: CN103778649B
• 公開（公告）日: 2018-08-31
• 發明（設計）人: W.張;J.王;B.B.利特庫希;K.S.利貝克;R.M.弗拉克斯
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;B60R1/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 鄧雪萌;楊炯

1.一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟：

由基于視覺的成像裝置捕獲實際圖像；

基于由處理器的映射從捕獲的實際圖像產生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機模型；

將形成在虛擬相機模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上；

其中產生虛擬圖像包括步驟：

由處理器提供預校準的實際相機模型，實際相機模型表示基于視覺的成像裝置捕獲景象；

基于預校準的實際相機模型在捕獲的圖像中確定每個像素的實際入射線角度；

識別非平面成像表面的任意形狀；

識別虛擬相機模型的姿態；

基于虛擬圖像模型和非平面成像表面在虛擬圖像中確定每個像素的虛擬入射線角度；

將虛擬入射線映射至實際圖像捕獲裝置的相關的實際入射線，其中如果虛擬相機模型的姿態不同于實際圖像捕獲裝置的姿態，轉動補償作用到虛擬入射線角度上，用于將虛擬入射線與實際入射線相關聯；

作為實際入射線與虛擬入射線之間相關映射的函數，將對應于非平面虛擬成像表面上的坐標的虛擬圖像中的像素映射到實際捕獲圖像上相關的像素上。

2.根據權利要求1所述的方法，其中實際圖像上的各個實際圖像像素由坐標和表示，用于識別實際入射線在實際圖像表面上成像的位置，其中實際入射線由角度（，）表示，其中是實際入射線與實際圖像捕獲裝置的光軸之間的角度，以及是實際圖像捕獲裝置x軸與實際入射線在實際圖像捕獲裝置x-y平面上的投影之間的角度。

3.根據權利要求2所述的方法，其中實際入射線角度基于預定和校準的實際相機模型確定。

4.根據權利要求3所述的方法，其中實際相機模型包括魚眼相機模型，其中魚眼相機模型表示用于在具有有效傳感器尺寸的平面成像平面上產生超寬角度視野景象的、具有實質上的徑向畸變的魚眼鏡頭，其中來自實際圖像捕獲裝置的實際圖像傳感器上的實際入射線與實際圖像像素之間的關系表示如下：

其中表示并且表示，是入射線與光軸之間的角度，是x軸與入射線在平面上的投影之間的角度。

5.根據權利要求3所述的方法，其中當徑向畸變存在時徑向畸變修正作用到實際相機模型，其中徑向畸變由畸變徑向距離相對于無畸變變量的函數表示，其中無畸變變量包括基于針孔相機模型的圖像像素的無畸變徑向距離，并且其中用于具有視野小于135度的基于視覺的成像裝置的徑向畸變由以下表示：

其中點是無畸變的徑向距離，其中使用針孔模型確定，并且其中k₁, k₂,k₃是徑向畸變參數。

6.根據權利要求1所述的方法，其中虛擬入射角的水平投影由角度表示，其中角度由以下公式表示：

其中是虛擬圖像點u-軸坐標，是虛擬相機的軸焦距，并且是圖像中心u軸坐標。

7.根據權利要求6所述的方法，其中虛擬入射角的垂直投影由角度表示，其中角度由以下公式表示：

其中是虛擬圖像點v軸-垂向坐標，是虛擬相機的v軸焦距，以及是圖像中心v軸坐標。

8.根據權利要求7所述的方法，其中虛擬入射線角度由以下公式確定：

，

其中是虛擬入射線與由虛擬z軸表示的虛擬光軸之間的角度，并且是虛擬相機x軸與虛擬相機模型x-y平面上的虛擬入射線的投影之間的角度。

9.根據權利要求1所述的方法，其中如果虛擬相機模型的姿態不同于實際相機模型，則是虛擬入射線與由虛擬z軸表示的虛擬光軸之間的角度，并且是虛擬相機x軸與虛擬相機模型x-y平面上的虛擬入射線的投影之間的角度，其中虛擬入射線上的任意點由以下矩陣表示：

其中是從虛擬相機模型的相機孔位置的點到原點的距離，P_virt表示虛擬入射線上的點。