[發(fā)明專(zhuān)利]一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)及其使用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811331040.9
• 申請(qǐng)日: 2018-11-09
• 公開(kāi)（公告）號(hào): CN109471533B
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 蔡鐵峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06F3/0487;G06F3/0489
• 代理公司: 深圳市科吉華烽知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44248
• 代理人: 吳肖敏

本發(fā)明提供一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)及其使用方法，還涉及一種鼠標(biāo)的計(jì)算機(jī)視覺(jué)定位方法、一種頭盔對(duì)鍵盤(pán)的虛擬透明方法，本發(fā)明是配套具備定位系統(tǒng)的VR/AR教室使用，其具備如下的有益效果：（1）通過(guò)建立學(xué)生端系統(tǒng)與VR/AR教室的映射關(guān)系，使學(xué)生可以通過(guò)與虛擬的VR/AR教學(xué)內(nèi)容進(jìn)行全方位的接觸、互動(dòng)，并且建立個(gè)性化的VR/AR效果，從而提高教學(xué)效果。（2）通過(guò)使用真實(shí)教室小畫(huà)面、二維顯示界面和浮虛擬控制器，便利學(xué)生與VR/AR教室的互動(dòng)體驗(yàn)。（3）鼠標(biāo)通過(guò)攝像頭視覺(jué)測(cè)量定位，實(shí)現(xiàn)了對(duì)沒(méi)有附帶定位裝置的位姿不固定物體精準(zhǔn)定位。（4）頭盔對(duì)鍵盤(pán)的虛擬透明，提高了操作的靈活性、準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其是一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)，本發(fā)明是配套具備定位系統(tǒng)的VR/AR教室使用。

背景技術(shù)

運(yùn)用VR和AR技術(shù)可構(gòu)建用于教學(xué)的VR/AR教室，課程知識(shí)用VR/AR的形式呈現(xiàn)出來(lái)，可以有效提升教學(xué)效果。其中采用“VR/AR”這種提法是指教室將兼容VR與AR兩種模式。

學(xué)生作為VR/AR教室的主要參與者，本發(fā)明擬給出一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)，配套具備定位系統(tǒng)的VR/AR教室使用。

發(fā)明內(nèi)容

本發(fā)明提供一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)及其使用方法，配套具備定位系統(tǒng)的VR/AR教室使用，從而提高提升教學(xué)效果。

本發(fā)明的技術(shù)方案如下：

一種VR/AR教室內(nèi)的學(xué)生端系統(tǒng)，配套具備定位系統(tǒng)的VR/AR教室使用，定位系統(tǒng)主要用來(lái)定位VR/AR頭盔或眼鏡，也可以定位手柄等其它物體。所述VR/AR教室基于真實(shí)教室的基礎(chǔ)構(gòu)建，所述學(xué)生端系統(tǒng)的硬件設(shè)在真實(shí)教室內(nèi)，所述學(xué)生端系統(tǒng)的硬件包括桌椅、數(shù)據(jù)處理與圖像渲染器、顯示設(shè)備、輸入設(shè)備和學(xué)生，所述顯示設(shè)備附帶有攝像頭與手勢(shì)識(shí)別傳感器，所述硬件可以通過(guò)預(yù)先測(cè)量、定位系統(tǒng)、攝像頭、手勢(shì)識(shí)別傳感器中的至少一種方法進(jìn)行定位；所述VR/AR教室內(nèi)設(shè)有虛擬內(nèi)容：包括與所述學(xué)生端系統(tǒng)的硬件一一對(duì)應(yīng)的虛擬物體，還包括虛擬教學(xué)內(nèi)容、一個(gè)二維顯示界面、一個(gè)真實(shí)教室小畫(huà)面和一個(gè)懸浮虛擬控制器；二維顯示界面用來(lái)顯示二維內(nèi)容，以及作為二維的操作界面；真實(shí)教室小畫(huà)面用來(lái)實(shí)時(shí)顯示真實(shí)教室內(nèi)真實(shí)世界情況；學(xué)生通過(guò)手勢(shì)識(shí)別傳感器可以直接用手對(duì)懸浮虛擬控制器操作，對(duì)VR/AR教室內(nèi)的虛擬內(nèi)容完成一些命令。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述數(shù)據(jù)處理與圖像渲染器包括電腦主機(jī)，所述顯示設(shè)備包括VR或者AR的頭盔/眼鏡，頭盔/眼鏡上附帶有攝像頭與手勢(shì)識(shí)別傳感器，所述輸入設(shè)備包括鍵盤(pán)、手柄、鼠標(biāo)中的至少一種；當(dāng)頭盔/眼鏡是一體機(jī)時(shí)，數(shù)據(jù)處理與圖像渲染器已經(jīng)集成在頭盔/眼鏡內(nèi)，不需要再額外配。

作為本發(fā)明的進(jìn)一步改進(jìn)，頭盔/眼鏡和手柄通過(guò)定位系統(tǒng)定位，鼠標(biāo)由攝像頭視覺(jué)測(cè)量定位，人手由手勢(shì)傳感器定位。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述鼠標(biāo)的攝像頭視覺(jué)測(cè)量定位的方法為：S0，限定鼠標(biāo)只有在課桌的桌面特定區(qū)域時(shí)才需要定位，當(dāng)鼠標(biāo)不在特定區(qū)域時(shí)可根據(jù)真實(shí)教室小畫(huà)面把鼠標(biāo)拿到這個(gè)特定的區(qū)域；S1，攝像頭采集鼠標(biāo)與桌面的成像，計(jì)算出鼠標(biāo)活動(dòng)區(qū)域的對(duì)應(yīng)圖像區(qū)域；S2，根據(jù)成像特征，從桌面圖像中分割出鼠標(biāo)圖像；S3，由鼠標(biāo)圖像的中心點(diǎn)估計(jì)鼠標(biāo)在桌面的位置；S4，依據(jù)鼠標(biāo)位置估計(jì)值，尋優(yōu)得到鼠標(biāo)的方向估計(jì)值；S5，依據(jù)鼠標(biāo)方向估計(jì)值，尋優(yōu)得到鼠標(biāo)更精確的位置估計(jì)值；S6，當(dāng)尋優(yōu)結(jié)果不夠滿足精度要求時(shí)，需要多次循環(huán)S4與S5。

作為本發(fā)明的進(jìn)一步改進(jìn)，在鍵盤(pán)輸入時(shí)，VR頭盔對(duì)鍵盤(pán)進(jìn)行虛擬透明，從而使學(xué)生能精確按壓到鍵盤(pán)區(qū)。