[發(fā)明專利]一種交互式多媒體英文教學裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110048200.4
• 申請日: 2021-01-14
• 公開（公告）號: CN112700553A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設計）人: 周莉
• 申請（專利權）人: 江西師范大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/00;G06T7/11;G06T7/13;G06K9/00;G06N3/08;G06N3/04
• 代理公司: 北京商專永信知識產(chǎn)權代理事務所(普通合伙) 11400
• 代理人: 鄧婷婷

1.一種交互式多媒體英文教學裝置，其特征在于，所述交互式多媒體英文教學裝置包括：一個本地端，其包括：

一個AR/MR眼鏡，其能夠獲取采集包括多個物體圖像的英文三維教學圖像；所述AR/MR眼鏡具有一個圖像輸出端；

一個數(shù)據(jù)接收器，其能夠從所述AR/MR眼鏡的圖像輸出端接收所述英文三維教學圖像；所述數(shù)據(jù)接收器具有一個數(shù)據(jù)發(fā)送端；所述數(shù)據(jù)發(fā)送端能夠將所述英文三維教學圖像向外發(fā)送；

一個數(shù)據(jù)處理器，其連接所述數(shù)據(jù)發(fā)送端且能夠接收所述英文三維教學圖像；所述數(shù)據(jù)處理器圖像識別所述英文三維教學圖像中各物體的物體邊界；根據(jù)所述物體邊界將所述英文三維教學圖像劃分為多個物體區(qū)域圖像；每個物體區(qū)域均具有一個物體中心位置信息；

所述數(shù)據(jù)處理器通過一個深度卷積神經(jīng)網(wǎng)絡識別所述物體區(qū)域圖像，獲取所述物體區(qū)域圖像中多個物體的名稱信息；所述數(shù)據(jù)處理器根據(jù)所述多個物體的名稱信息獲取英文名稱信息；所述數(shù)據(jù)處理器根據(jù)所述物體中心位置信息在所述英文三維教學圖像中生成其對應的物體英文名稱信息；所述數(shù)據(jù)處理器將所述物體中心位置信息及與其對應的物體英文名稱信息發(fā)送到AR/MR眼鏡；

其中，所述AR/MR眼鏡在所述物體中心位置信息對應的位置上加載顯示所述物體英文名稱信息。

2.根據(jù)權利要求1所述的交互式多媒體英文教學裝置，其特征在于，所述數(shù)據(jù)處理器通過所述英文名稱信息獲取于其對應的英文音頻信息；所述數(shù)據(jù)處理器將所述英文音頻信息發(fā)送到所述AR/MR眼鏡；

所述AR/MR眼鏡在所述物體中心位置信息對應的位置上依次加載顯示所述物體英文名稱信息；在依次加載顯示所述物體英文名稱信息的同時播放所述物體英文名稱信息相應的英文音頻信息。

3.根據(jù)權利要求1所述的交互式多媒體英文教學裝置，其特征在于，所述交互式多媒體英文教學裝置還包括：

一個教學端，其通過遠程無線方式與所述本地端連接且能夠向所述本地端下發(fā)所述英文三維教學圖像；

所述本地端還包括：

一個無線數(shù)據(jù)收發(fā)器，其能夠從所述教學端接收所述英文三維教學圖像且能夠將所述英文三維教學圖像發(fā)送到所述數(shù)據(jù)處理器；所述數(shù)據(jù)處理器能夠從其數(shù)據(jù)輸出端發(fā)送所述英文三維教學圖像；和

一個顯示器件，其連接所述數(shù)據(jù)處理器的數(shù)據(jù)輸出端且能夠接收并顯示所述英文三維教學圖像；

使用者通過佩戴所述AR/MR眼鏡觀看所述顯示器件顯示的英文三維教學圖像，以通過所述AR/MR眼鏡的攝像頭采集所述英文三維教學圖像中的二維畫面。

4.根據(jù)權利要求3所述的交互式多媒體英文教學裝置，其特征在于，所述AR/MR眼鏡具有兩個相對的鏡腿；在所述鏡腿能夠相對的一端分別具有一個相對面；

所述本地端還包括：

兩個壓力傳感器，其分別設置于所述鏡腿的相對面上；所述壓力傳感器能夠采集當前壓力值且具有一個壓力值采集輸出端；

所述數(shù)據(jù)處理器的輸入端連接所述壓力值采集輸出端且能夠接收所述當前壓力值；所述數(shù)據(jù)處理器若接收到所述當前壓力值且當前壓力值大于設定值，則獲取當前起始時間且根據(jù)所述當前起始時間及所述數(shù)據(jù)處理器中預存的本地標識信息生成上線提示信息；

所述數(shù)據(jù)處理器若未接收到所述當前壓力值或所述當前壓力值小于設定值，則獲取當前結束時間；所述數(shù)據(jù)處理器根據(jù)所述當前起始時間及所述當前結束時間獲取在線時間信息；所述數(shù)據(jù)處理其輸出所述上線提示信息及所述在線時間信息發(fā)送至所述無線數(shù)據(jù)收發(fā)器；

所述無線數(shù)據(jù)收發(fā)器通過無線網(wǎng)絡向所述教學端發(fā)送所述上線提示信息和所述在線時間信息。

5.根據(jù)權利要求4所述的交互式多媒體英文教學裝置，其特征在于，所述本地端還包括：

一個面部圖像采集攝像頭，其設置于所述AR/MR眼鏡的鏡片朝向鏡腿的方向；所述面部圖像采集攝像頭能夠采集當前使用者的眼部圖像；

所述數(shù)據(jù)處理器的輸入端連接所述面部圖像采集攝像頭的采集圖像輸出端；

所述數(shù)據(jù)處理器若生成了所述上線提示信息，則從所述面部圖像采集攝像頭獲取當前使用者的眼部圖像；將上線提示信息關聯(lián)所述當前使用者的眼部圖像生成上線驗證文件；所述數(shù)據(jù)處理器將所述上線驗證文件發(fā)送至所述無線數(shù)據(jù)收發(fā)器；

所述無線數(shù)據(jù)收發(fā)器通過無線網(wǎng)絡向所述教學端發(fā)送所述上線驗證文件。