[發明專利]用于在車輛顯示器上整合虛擬對象的方法

無效

• 申請號: 201280049961.0
• 申請日: 2012-09-28
• 公開（公告）號: CN104303211A
• 公開（公告）日: 2015-01-21
• 發明（設計）人: C·格倫勒;J·魯
• 申請（專利權）人: 戴姆勒股份公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G01C21/36;B60R1/00;G08G1/09
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 楊曉光;于靜

技術領域

本發明涉及用于在2D顯示裝置上透視顯示人工或虛擬生成的3D對象的方法和裝置。

背景技術

如今在大量應用中借助計算機系統顯示三維幾何形狀或者三維對象或場景發揮著非常重要的作用。借助三維顯示可以模擬真實場景，例如在飛行模擬器中。另一個三維顯示應用實例在建筑學上是普遍的，其中借助于三維空間模擬能夠在虛擬建筑物中描繪場地。

從實用新型文件DE20305278U1中可知一種用于在2D顯示裝置上顯示3D對象的裝置，其中可以考慮相對于2D顯示裝置可變的觀察者位置來顯示3D對象。通過位置檢測裝置可以確定觀察者位置。使用多個攝像機以檢測觀察者或被觀察的對象的位置。因此向實際2D顯示提供真實的空間印象。

計算機支持的現實感知增強概括為術語“增強現實”，其中借助覆蓋采用計算機生成的附加信息或虛擬對象補充圖像或視頻。

此外現在還可以采用提供附加信息的正確透視的整合虛擬對象來增強2D圖像。這一新發展也與增強現實相關地實施。最初的研究雛形以及可銷售的整合在智能手機上的解決方案在一定程度上實現了該發展。作為這些現有解決方案的一部分，取決于攝像機的空間位置和地點將附加信息覆蓋在視頻圖像中。

然而，采用單獨基于2D信息的圖像合成使用正確級別的覆蓋無縫整合虛擬對象是不可能的。一方面，覆蓋的透視通常不匹配攝像機圖像的透視，另一方面，即使真實的對象相比覆蓋更接近，覆蓋的虛擬對象也永久覆蓋攝像機圖像的背景顯示。換句話說，在顯示裝置的再現圖像上真實對象和虛擬對象并未正確疊加。

發明內容

本發明的目的是提供將虛擬3D對象逼真地整合到2D對象中所采用的方法和裝置。

通過具有權利要求1的特征的方法以及具有權利要求10的特征的裝置來實現該目的。

如已提及的，采用單獨基于2D信息的圖像合成使用正確級別的覆蓋無縫整合虛擬3D對象是不可能的。真實3D對象和虛擬3D對象的正確合成只能經由在三維空間中的對象融合來完成，其中虛擬3D對象和真實3D對象相互采用正確級別的覆蓋顯示。

為了顯示虛擬3D對象，例如在車輛顯示器中，依據本發明的方法采用定義的真實3D對象空間的所記錄的數字圖像以及每個屬于所記錄的數字圖像的像素的深度信息。

深度信息包含車輛周圍環境的三維描述。在根據本發明的方法中，在第一步驟中這使得能夠從所定義的真實3D對象空間的數字圖像中獲取透視信息。這例如通過諸如正被識別的道路走向和正被生成的道路的虛擬走向的對象產生。

為了采用附加信息來豐富場景，在該方法的第二步驟中生成至少一個預定的虛擬3D對象。這例如可以是方向箭頭，路標或交通信息等。隨后在該方法的第三步驟中透視所產生的虛擬3D對象并在場景中的位置準確地放置在定義的真實3D對象空間中。這例如可以取決于已知對象完成，諸如道路的虛擬走向。在虛擬3D對象的空間取向之外，進行虛擬3D對象的透視和符合比例的調整。

有利地，在優選實施方式中，道路的虛擬走向在虛擬3D對象產生期間用作用于確定要覆蓋的虛擬3D對象的空間位置的定向或參考系統。

在該步驟中，將用于在顯示裝置上的隨后疊加/顯示的位置坐標分配給各個像素，這些像素表示所生成的虛擬3D對象。此外將深度值分配給表示所生成的虛擬3D對象的各個像素。

隨后在該方法的第四步驟中將調整的虛擬3D對象整合到真實3D對象空間的所記錄的圖像中。

借助兩個車輛攝像機可以特別簡單地記錄車輛關于在其周圍環境中的對象的相對位置。例如在有利實施方式中，因此可以透視正確地生成用于導航的方向箭頭并且在道路上標記，其中方向箭頭作為在位于與道路平行的平面上的平面對象覆蓋在車輛前面，例如作為“紅地毯”。另外，在特別有利的實施方式中，當前要使用的車道用顏色強調，其中其作為三維平面帶在所檢測的道路及其車道的模型上放置。

在本發明的特別優選的實施方式中，在該方法的另一步驟中，所定義的真實3D對象空間的虛擬環境模型與來自方法的第一步驟的道路的虛擬走向同步。所定義的真實3D對象空間的虛擬環境模型的傳統實例是關于存在于車輛導航系統中的道路拓撲和幾何的信息。考慮到相應車輛攝像機位置和從導航數據生成的位于車輛前面的道路部分的基本幾何信息，例如可以檢查和同步透視信息的獲得以及道路的虛擬走向的生成。因此可以保證正確生成道路的虛擬走向。于是可以當存在對于車輛專用攝像機的差能見度條件和記錄條件時可以可靠地生成道路的虛擬走向，例如當有霧，大雨或下雪時。