[發(fā)明專利]一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202310156288.0
• 申請日: 2023-02-23
• 公開（公告）號: CN116149480A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計）人: 祝可欣;姜孝吾;毛威;朱錦騰
• 申請（專利權(quán)）人: 寧波未知數(shù)字信息技術(shù)有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G08G1/0967;G02B27/01
• 代理公司: 北京圣州專利代理事務(wù)所(普通合伙) 11818
• 代理人: 李春

1.一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：包括：

車載控制機(jī)構(gòu)，用于下發(fā)控制指令以及提供供電接口和通訊接口；

拓展處理機(jī)構(gòu)，用于根據(jù)所述車載控制機(jī)構(gòu)下發(fā)的控制指令啟閉頭顯機(jī)構(gòu)以及傳輸?shù)囊粢曨l數(shù)據(jù)；

頭顯機(jī)構(gòu)，用于接收音視頻數(shù)據(jù)并顯示；

艙內(nèi)追蹤機(jī)構(gòu)，用于定位所述頭顯機(jī)構(gòu)的位置和姿態(tài)；

所述頭顯機(jī)構(gòu)包括混合現(xiàn)實(shí)眼鏡以及包絡(luò)于所述混合現(xiàn)實(shí)眼鏡上的天線；

所述艙內(nèi)追蹤機(jī)構(gòu)經(jīng)所述車載控制機(jī)構(gòu)與所述拓展處理機(jī)構(gòu)相通訊，所述拓展處理機(jī)構(gòu)與所述頭顯機(jī)構(gòu)相通訊。

2.根據(jù)權(quán)利要求1所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：所述拓展處理機(jī)構(gòu)包括單板計算機(jī)和MR信號發(fā)生器；

所述單板計算機(jī)包括與所述車載控制機(jī)構(gòu)連接的電源接口和車機(jī)數(shù)據(jù)接口、位姿接收模塊、數(shù)據(jù)接收模塊、軟件啟動器和處理器；

所述艙內(nèi)追蹤機(jī)構(gòu)經(jīng)所述車載控制機(jī)構(gòu)的中央網(wǎng)關(guān)分別與所述位姿接收模塊、所述數(shù)據(jù)接收模塊和所述軟件啟動器相連，所述位姿接收模塊、所述數(shù)據(jù)接收模塊和所述軟件啟動器均與所述處理器相連，所述處理器依次經(jīng)MR頭顯接口、編碼模塊與所述MR信號發(fā)生器相連，所述MR信號發(fā)生器經(jīng)天線與設(shè)置于所述混合現(xiàn)實(shí)眼鏡上的解碼模塊相通訊。

3.根據(jù)權(quán)利要求2所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：所述艙內(nèi)追蹤機(jī)構(gòu)包括對應(yīng)使用者設(shè)置于車輛內(nèi)部的紅外攝像頭組以及設(shè)置于所述混合現(xiàn)實(shí)眼鏡外壁上的頭顯標(biāo)簽，所述紅外攝像頭經(jīng)車機(jī)數(shù)據(jù)接口與所述中央網(wǎng)關(guān)相通訊，用于將視頻流傳輸至中央網(wǎng)關(guān)，再經(jīng)中央網(wǎng)關(guān)傳輸至所述拓展處理機(jī)構(gòu)；

所述頭顯標(biāo)簽為紅外LED。

4.根據(jù)權(quán)利要求3所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：所述紅外攝像頭組包括位于使用者四角的四組角部紅外攝像頭和位于使用者上方的頂部紅外攝像頭。

5.根據(jù)權(quán)利要求4所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：所述角部紅外攝像頭和所述頂部紅外攝像頭均為高速廣角紅外攝像頭。

6.根據(jù)權(quán)利要求1所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展系統(tǒng)，其特征在于：還包括收納充電盒，所述收納充電盒內(nèi)設(shè)置有與所述車載控制機(jī)構(gòu)電性連接的充電接口，用于在收納所述頭顯機(jī)構(gòu)時為所述頭顯機(jī)構(gòu)充電。

7.一種車載混合現(xiàn)實(shí)體驗(yàn)拓展方法，其特征在于：包括以下步驟：

S1、斷開充電，將混合現(xiàn)實(shí)眼鏡由收納充電盒中取出；

S2、點(diǎn)擊車載控制機(jī)構(gòu)的界面，向單板計算機(jī)發(fā)送啟動指令以及數(shù)據(jù)；

S3、通過艙內(nèi)追蹤模塊進(jìn)行視野融合以及空間標(biāo)定；

S4、通過中央網(wǎng)關(guān)，將融合后的視頻流通過車機(jī)數(shù)據(jù)接口，推送到單板計算機(jī)中，進(jìn)行基于紅外標(biāo)簽的視覺6DOF姿態(tài)解算，獲取使用姿態(tài)數(shù)據(jù)；

S5、單板計算機(jī)根據(jù)使用者的姿態(tài)，為使用者渲染對應(yīng)的畫面影像、聲音，即將對應(yīng)的音視頻通過編碼模塊轉(zhuǎn)化成數(shù)字信號，通過MR信號發(fā)生器進(jìn)行發(fā)射毫米波；

S6、混合現(xiàn)實(shí)眼鏡經(jīng)天線接收毫米波信號，并經(jīng)解碼模塊解碼后在使用者眼前進(jìn)行實(shí)時的輸出；

S7、使用者變換姿態(tài)，程序根據(jù)不同的使用姿態(tài)進(jìn)行特定的內(nèi)容輸出。

8.根據(jù)權(quán)利要求7所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展方法，其特征在于：步驟S2中的數(shù)據(jù)包括多模交互數(shù)據(jù)、導(dǎo)航位置數(shù)據(jù)和音視頻流數(shù)據(jù)。

9.根據(jù)權(quán)利要求7所述的一種車載混合現(xiàn)實(shí)體驗(yàn)拓展方法，其特征在于：步驟S3具體包括以下步驟：

S31、通過特征點(diǎn)提取算法，跟蹤頭顯標(biāo)簽在融合視野中每一幀中的位置；

S32、使用角點(diǎn)檢測或特征提取算法識別目標(biāo)；

S33、使用卡爾曼濾波算法對目標(biāo)的狀態(tài)進(jìn)行預(yù)測，并基于目標(biāo)在當(dāng)前幀中的實(shí)際位置對其進(jìn)行更新；

S34、獲取頭顯位于艙內(nèi)中實(shí)時的空間位置，從而得到使用者的實(shí)時朝向、坐標(biāo)。