[發明專利]一種用于汽車駕駛仿真器的混合現實場景生成方法及系統

在審

• 申請號: 202011211091.5
• 申請日: 2020-11-03
• 公開（公告）號: CN112289123A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 蘇虎;黃艷;陳宏川;吳典儒;吳梓豪
• 申請（專利權）人: 成都合縱連橫數字科技有限公司
• 主分類號: G09B9/04
• 分類號: G09B9/04
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種用于汽車駕駛仿真器的混合現實場景生成方法及系統，所述混合現實場景生成方法通過安裝在汽車駕駛仿真器頂部的攝像機獲取司機操作區域的實時高清視頻，并完成視頻的校正；加載和調度虛擬駕駛場景；對現實視頻和虛擬場景進行配準、融合，形成實際視頻與虛擬場景的混合場景；對混合場景進行渲染、輸出，供學員觀看。通過本發明提供的一種用于汽車駕駛仿真器的混合現實場景生成方法及系統，可解決現實世界與虛擬場景的融合問題，令學員在虛擬場景中駕駛訓練時，可觀測到實際的方向盤、排檔以及自己的操作過程，使得仿真器訓練更接近實際車輛的駕駛訓練過程，極大提升了訓練效果。

技術領域

本發明涉及虛擬駕駛技術領域，尤其涉及一種用于汽車駕駛仿真器的混合現實場景生成方法及系統。

背景技術

現有汽車駕駛仿真器常采用顯示器、投影屏幕作為顯示設備，其視角范圍有限、沉浸感不強，無法實現360度環視，影響駕駛培訓效果。將虛擬現實(VR)眼鏡作為顯示設備的汽車駕駛仿真器解決了360度視野的問題。但佩戴VR眼鏡后，割裂了現實世界與虛擬場景，學員無法看到方向盤、儀表臺等實物，也無法看到自己的操作動作，這是VR技術應用于駕駛培訓的重要障礙。

因此，如何實現汽車駕駛仿真器虛擬場景和現實操作場景的實時融合，是一個亟需解決的技術問題。

發明內容

為了解決上述問題，本發明的第一方面提供了一種用于汽車駕駛仿真器的混合現實場景生成方法，所述混合現實場景生成方法包括以下步驟：

在汽車仿真器上固定攝像機，并獲取該攝像機的內、外參數；

建立所仿真汽車的三維模型VM，根據攝像機參數設計蒙版模型PM；

選擇培訓課程；

加載道路場景三維模型TM，并將帶有蒙版模型PM的汽車三維模型VM置于道路場景中，組合形成虛擬駕駛場景SM；

采集攝像機所獲得的操作區實時視頻V，并對視頻V進行修正，得到視頻V’；

根據虛擬駕駛場景SM中的模型參數，對視頻V’進行調整，并得到視頻V”；

將視頻V”根據蒙版模型PM的預設頂點視頻紋理坐標VVC映射到PM上；

根據頭戴式顯示(HMD)設備的輸出分辨率采用圖形引擎對完成視頻映射的SM進行左右視差方式的渲染，并輸出到HMD中，供學員觀看。

優選的，所述攝像機固定在汽車駕駛仿真器的頂部位置，以保證能夠完整拍攝到仿真器實物上的方向盤、儀表臺、排檔和手剎部分。

優選的，所述蒙版模型PM為幾何體集合，包括頂點空間坐標VC，頂點位置的法向量VN，頂點的視頻紋理坐標VVC，頂點間的拓撲關系VT；所述蒙版模型PM置入汽車三維模型相應位置，替代方向盤、儀表臺、排檔手剎這四個部位的三維模型。

優選的，所述三維模型VM在場景中的位置與姿態根據動力學仿真計算結果實時確定。

本發明的第二方面，提出了一種用于汽車駕駛仿真器的混合現實場景生成系統，所述混合現實場景生成系統包括：

視頻采集模塊：從安裝在汽車駕駛仿真器頂部的攝像機獲得司機操作區域的實時高清視頻V，并負責完成視頻V的校正。

場景調度模塊：加載和調度虛擬駕駛場景。

視頻融合模塊：根據預設參數對視頻V及虛擬場景S進行配準、融合，形成實際視頻與虛擬場景的混合場景MM。

渲染輸出模塊：根據頭戴式顯示(HMD)設備的技術參數對混合場景MM進行渲染和輸出，供學員觀看。