[發明專利]一種VR/AR教室內的學生端系統及其使用方法

有效

• 申請號: 201811331040.9
• 申請日: 2018-11-09
• 公開（公告）號: CN109471533B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 蔡鐵峰
• 申請（專利權）人: 深圳職業技術學院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0487;G06F3/0489
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 吳肖敏

1.一種VR/AR教室內的學生端系統，配套具備定位系統的VR/AR教室使用，其特征在于，所述VR/AR教室基于真實教室的基礎構建，所述學生端系統的硬件設在真實教室內，所述學生端系統的硬件包括桌椅、數據處理與圖像渲染器、顯示設備、輸入設備和學生，所述顯示設備附帶有攝像頭與手勢識別傳感器，所述硬件可以通過預先測量、定位系統、攝像頭、手勢識別傳感器中的至少一種方法進行定位；所述VR/AR教室內設有虛擬內容：包括與所述學生端系統的硬件一一對應的虛擬物體，還包括虛擬教學內容、一個二維顯示界面、一個真實教室小畫面和一個懸浮虛擬控制器；二維顯示界面用來顯示二維內容，以及作為二維的操作界面；真實教室小畫面用來實時顯示真實教室內真實世界情況；學生通過手勢識別傳感器可以直接用手對懸浮虛擬控制器操作，對VR/AR教室內的虛擬內容完成一些命令；

所述數據處理與圖像渲染器包括電腦主機，所述顯示設備包括VR或者AR的頭盔/眼鏡，頭盔/眼鏡上附帶有攝像頭與手勢識別傳感器，所述輸入設備包括鍵盤、手柄、鼠標中的至少一種；當頭盔/眼鏡是一體機時，數據處理與圖像渲染器已經集成在頭盔/眼鏡內，不需要再額外配；

所述鼠標的攝像頭視覺測量定位的方法為：

S0，限定鼠標只有在課桌的桌面特定區域時才需要定位，當鼠標不在特定區域時可根據真實教室小畫面把鼠標拿到這個特定的區域；

S1，攝像頭采集鼠標與桌面的成像，計算出鼠標活動區域的對應圖像區域；S2，根據成像特征，從桌面圖像中分割出鼠標圖像；

S3，由鼠標圖像的中心點估計鼠標在桌面的位置；

S4，依據鼠標位置估計值，尋優得到鼠標的方向估計值；

S5，依據鼠標方向估計值，尋優得到鼠標更精確的位置估計值；

S6，當尋優結果不夠滿足精度要求時，需要多次循環S4與S5。

2.根據權利要求1所述的VR/AR教室內的學生端系統，其特征在于，頭盔和手柄通過定位系統定位，鼠標由攝像頭視覺測量定位，人手由手勢傳感器定位。

3.根據權利要求2所述的VR/AR教室內的學生端系統，其特征在于，在鍵盤輸入時，VR頭盔對鍵盤進行虛擬透明，從而使學生能精確按壓到鍵盤區。

4.根據權利要求3所述的VR/AR教室內的學生端系統，其特征在于，所述VR頭盔對鍵盤虛擬透明的方法為：

A1，測量出鍵盤按鍵在世界坐標系中的位置，由世界坐標系到攝像頭坐標系的變換關系可以求解出鍵盤在攝像頭坐標系中的位置，進一步由攝像頭成像公式可以計算出鍵盤上各點對應的圖像像素；

A2，把人眼視為一個虛擬攝像頭，建虛擬攝像頭的坐標系Γ_e令在世界坐標系Γ_w中的任意坐標(x_w,y_w,z_w)，其在虛擬攝像頭坐標系Γ_e的坐標值為(x_e,y_e,z_e)，則：

其中R_e,w與T_e,w是常量矩陣，值可以預先測量得到，由此可以計算得到鍵盤上點在虛擬攝像頭坐標系的位置；

A3，由人眼與頭盔顯示屏的成像關系可以計算出此點在屏幕上的顯示位置，由此確定屏幕上像素顏色值與攝像頭采集圖像顏色值對應起來，從而做到虛擬透明。

5.一種如權利要求4所述的VR/AR教室內的學生端系統的使用方法，其特征在于，包括以下步驟：學生戴VR/AR頭盔進入VR/AR教室，根據個人或課程需要，學生可以選擇虛擬內容中的部分內容不顯示，反過來也可以通過顯示內容的設置把已經隱藏的內容重新顯示出來。

6.一種如權利要求5所述的VR/AR教室內的學生端系統的使用方法，其特征在于，需要顯示二維內容或進行二維操作時，就需要把二維顯示界面設置為顯示，二維顯示界面可以是半透明的，二維顯示內容可以與VR/AR教室內教學內容之間有某種較為直接的映射關系，其中鼠標與鍵盤是主要的二維操作設備。