[發(fā)明專利]車內(nèi)混合現(xiàn)實顯示方法及裝置

有效

• 申請?zhí)枺?/td>: 202011089648.2
• 申請日: 2020-10-13
• 公開（公告）號: CN111932687B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 陳翔;樊瀟
• 申請（專利權(quán)）人: 寧波均聯(lián)智行科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/20;G06F9/50;G06T1/20
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 盛安平

本發(fā)明公開一種車內(nèi)混合現(xiàn)實顯示方法及裝置，能夠給駕乘人員提供浸入式的觀看體驗。該方法包括：采集車內(nèi)環(huán)境數(shù)據(jù)和車外環(huán)境數(shù)據(jù)，在收到觸發(fā)指令后判斷車載計算單元與路邊計算單元是否聯(lián)網(wǎng)；若聯(lián)網(wǎng)且車載計算單元算力充足，向路邊計算單元請求獲取渲染模型，使得車載GPU根據(jù)渲染模型、車內(nèi)環(huán)境數(shù)據(jù)和觸發(fā)指令中的目標(biāo)場景渲染后形成顯示數(shù)據(jù)；若聯(lián)網(wǎng)但車載計算單元算力不足，將車內(nèi)環(huán)境數(shù)據(jù)和目標(biāo)場景打包發(fā)送至路邊計算單元，由路邊計算單元渲染生成顯示數(shù)據(jù)；若不聯(lián)網(wǎng)則通過車載GPU或者云端進(jìn)行實時建模渲染后生成顯示數(shù)據(jù)；從車內(nèi)環(huán)境數(shù)據(jù)中識別出駕乘人員的視角視線，在對應(yīng)位置處的車窗玻璃顯示屏幕上播放顯示數(shù)據(jù)對應(yīng)的視頻流。

技術(shù)領(lǐng)域

本發(fā)明涉及車聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種車內(nèi)混合現(xiàn)實顯示方法及裝置。

背景技術(shù)

隨著經(jīng)濟的發(fā)展，汽車已經(jīng)成為人們必不可少的出行工具，行駛在道路上的汽車也越來越多。現(xiàn)有技術(shù)中駕乘人員只能通過車機的顯示屏幕觀看相應(yīng)的顯示畫面，對于駕乘人員來說，不僅畫面內(nèi)容單調(diào)無味，而且由于顯示屏幕的設(shè)定方向相對固定，駕乘人員需要長期保持特定方向觀看，體驗感較差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種車內(nèi)混合現(xiàn)實顯示方法及裝置，能夠給駕乘人員提供浸入式的觀看體驗。

為了實現(xiàn)上述目的，本發(fā)明的第一方面提供一種車內(nèi)混合現(xiàn)實顯示方法，多塊車窗玻璃夾層中設(shè)置有顯示屏幕，所述方法包括：

采集車內(nèi)環(huán)境數(shù)據(jù)和車外環(huán)境數(shù)據(jù)，在收到觸發(fā)指令后判斷車載計算單元與路邊計算單元是否聯(lián)網(wǎng)；

若判斷結(jié)果為聯(lián)網(wǎng)且車載計算單元算力充足時，向路邊計算單元請求獲取渲染模型，使得車載GPU根據(jù)所述渲染模型、所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標(biāo)場景渲染后形成顯示數(shù)據(jù)；

若判斷結(jié)果為聯(lián)網(wǎng)但車載計算單元算力不足時，將所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標(biāo)場景打包發(fā)送至路邊計算單元，由路邊計算單元基于所述渲染模型渲染生成顯示數(shù)據(jù)；

若判斷結(jié)果為不聯(lián)網(wǎng)則通過車載GPU或者云端，根據(jù)所述車內(nèi)環(huán)境數(shù)據(jù)、所述車外環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標(biāo)場景進(jìn)行實時建模渲染后生成顯示數(shù)據(jù)；

從所述車內(nèi)環(huán)境數(shù)據(jù)中識別出駕乘人員的視角視線，并在對應(yīng)位置處的車窗玻璃顯示屏幕上播放顯示數(shù)據(jù)對應(yīng)的視頻流。

優(yōu)選地，采集車內(nèi)環(huán)境數(shù)據(jù)和車外環(huán)境數(shù)據(jù)，在收到觸發(fā)指令后判斷車載計算單元與路邊計算單元是否聯(lián)網(wǎng)的方法包括：

通過車外攝像頭采集車外環(huán)境數(shù)據(jù)以及通過車內(nèi)攝像頭和傳感器采集車內(nèi)環(huán)境數(shù)據(jù)，所述車外環(huán)境數(shù)據(jù)包括車外環(huán)境景象信息，所述車內(nèi)環(huán)境數(shù)據(jù)包括光線強度信息、駕乘人員位置信息、當(dāng)前車輛所在位置信息和駕乘人員視角視線信息；

駕乘人員向車載通信單元發(fā)送包括目標(biāo)場景的所述觸發(fā)指令，車載通信單元探測預(yù)設(shè)范圍內(nèi)是否存在路邊計算單元，并在存在時將車載計算單元與路邊計算單元聯(lián)網(wǎng)。

較佳地，在步驟向路邊計算單元請求獲取渲染模型之前還包括：

路邊計算單元存儲有周圍環(huán)境的靜態(tài)場景3D模型以及動態(tài)場景3D模型，所述靜態(tài)場景3D模型包括道路模型、建筑模型、交通設(shè)施模型中的一種或多種，所述動態(tài)場景3D模型包括車輛模型和/或行人模型；

所述靜態(tài)場景3D模型和所述動態(tài)場景3D模型車輛模型由紅外攝像頭和RGB攝像頭捕捉的畫面建模而成。

進(jìn)一步地，在收到觸發(fā)指令后還包括：

當(dāng)車輛處于導(dǎo)航狀態(tài)時，車載通信單元預(yù)加載途經(jīng)點中路邊計算單元存儲的所述靜態(tài)場景3D模型，并在車輛抵近對應(yīng)的路邊計算單元時再請求加載所述動態(tài)場景3D模型，之后由車載GPU根據(jù)所述動態(tài)場景3D模型、所述靜態(tài)場景3D模型、所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標(biāo)場景渲染后形成顯示數(shù)據(jù)。