[發(fā)明專利]車內(nèi)混合現(xiàn)實顯示方法及裝置

有效

• 申請?zhí)枺?/td>: 202011089648.2
• 申請日: 2020-10-13
• 公開（公告）號: CN111932687B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 陳翔;樊瀟
• 申請（專利權(quán)）人: 寧波均聯(lián)智行科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/20;G06F9/50;G06T1/20
• 代理公司: 北京市萬慧達律師事務(wù)所 11111
• 代理人: 盛安平

1.一種車內(nèi)混合現(xiàn)實顯示方法，其特征在于，多塊車窗玻璃夾層中設(shè)置有顯示屏幕，所述方法包括：

采集車內(nèi)環(huán)境數(shù)據(jù)和車外環(huán)境數(shù)據(jù)，在收到包括駕乘人員選擇的目標場景的觸發(fā)指令后，由車載通信單元探測預(yù)設(shè)范圍內(nèi)是否存在路邊計算單元，并在存在時車載計算單元與路邊計算單元進行聯(lián)網(wǎng)；

若判斷車載計算單元與路邊計算單元聯(lián)網(wǎng)且車載計算單元算力充足時，主動向路邊計算單元請求獲取渲染模型，使得車載GPU根據(jù)所述渲染模型、所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標場景渲染后形成顯示數(shù)據(jù)；

若判斷車載計算單元與路邊計算單元聯(lián)網(wǎng)但車載計算單元算力不足時，將所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標場景打包發(fā)送至路邊計算單元，由路邊計算單元基于所述渲染模型渲染生成顯示數(shù)據(jù)；

若判斷車載計算單元與路邊計算單元不聯(lián)網(wǎng)則通過車載GPU或者云端，根據(jù)所述車內(nèi)環(huán)境數(shù)據(jù)、所述車外環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標場景進行實時建模渲染后生成顯示數(shù)據(jù)；

其中，在收到駕乘人員選擇的包括目標場景的觸發(fā)指令后還包括：當車輛處于導(dǎo)航狀態(tài)時，車載通信單元預(yù)加載途經(jīng)點中路邊計算單元存儲的靜態(tài)場景3D模型，并在車輛抵近對應(yīng)的路邊計算單元時再請求加載動態(tài)場景3D模型，之后由車載GPU根據(jù)動態(tài)場景3D模型、靜態(tài)場景3D模型、車內(nèi)環(huán)境數(shù)據(jù)和觸發(fā)指令中的目標場景渲染后形成顯示數(shù)據(jù)；

從所述車內(nèi)環(huán)境數(shù)據(jù)中識別出所述駕乘人員的視角視線，并在對應(yīng)位置處的車窗玻璃顯示屏幕上播放顯示數(shù)據(jù)對應(yīng)的視頻流，其中，所述顯示數(shù)據(jù)具有與所述目標場景相對應(yīng)的顯示效果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在收到包括駕乘人員選擇的目標場景的觸發(fā)指令后，由車載通信單元探測預(yù)設(shè)范圍內(nèi)是否存在路邊計算單元，并在存在時車載計算單元與路邊計算單元進行聯(lián)網(wǎng)的方法包括：

通過車外攝像頭采集車外環(huán)境數(shù)據(jù)以及通過車內(nèi)攝像頭和傳感器采集車內(nèi)環(huán)境數(shù)據(jù)，所述車外環(huán)境數(shù)據(jù)包括車外環(huán)境景象信息，所述車內(nèi)環(huán)境數(shù)據(jù)包括光線強度信息、駕乘人員位置信息、當前車輛所在位置信息和駕乘人員視角視線信息；

駕乘人員向車載通信單元發(fā)送所述觸發(fā)指令，車載通信單元探測預(yù)設(shè)范圍內(nèi)是否存在路邊計算單元，并在存在時將車載計算單元與路邊計算單元聯(lián)網(wǎng)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在向路邊計算單元請求獲取渲染模型之前還包括：

路邊計算單元存儲有周圍環(huán)境的靜態(tài)場景3D模型以及動態(tài)場景3D模型，所述靜態(tài)場景3D模型包括道路模型、建筑模型、交通設(shè)施模型中的一種或多種，所述動態(tài)場景3D模型包括車輛模型和/或行人模型；

所述靜態(tài)場景3D模型和所述動態(tài)場景3D模型車輛模型由紅外攝像頭和RGB攝像頭捕捉的畫面建模而成。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，將所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令中的目標場景打包發(fā)送至路邊計算單元，由路邊計算單元基于所述渲染模型渲染生成顯示數(shù)據(jù)的方法包括：

在路邊計算單元算力充足的情況下，通過車載通信單元將所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令打包發(fā)送至路邊計算單元，并在所述路邊計算單元算力充足時，由所述路邊計算單元從所述車內(nèi)環(huán)境數(shù)據(jù)中提取出駕乘人員位置信息和駕乘人員視角視線信息，同時從所述觸發(fā)指令中提取出目標場景，結(jié)合所述渲染模型渲染出顯示數(shù)據(jù)；

在路邊計算單元算力不足的情況下，通過車載通信單元將所述車內(nèi)環(huán)境數(shù)據(jù)和所述觸發(fā)指令打包發(fā)送至所述路邊計算單元，再由所述路邊計算單元轉(zhuǎn)發(fā)至云端，由云端從所述車內(nèi)環(huán)境數(shù)據(jù)中提取出駕乘人員位置信息和駕乘人員視角視線信息，同時從所述觸發(fā)指令中提取出目標場景，結(jié)合所述靜態(tài)場景3D模型和所述動態(tài)場景3D模型渲染出顯示數(shù)據(jù)。