[發明專利]一種5G網絡環境下虛擬同步課堂教學系統及其工作方法

有效

• 申請號: 202110420187.0
• 申請日: 2021-04-19
• 公開（公告）號: CN113242277B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 吳砥;鐘正;徐建
• 申請（專利權）人: 華中師范大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04W4/30;G09B5/14;G06Q50/20;H04J3/06
• 代理公司: 武漢天力專利事務所 42208
• 代理人: 吳曉穎

1.一種5G網絡環境下虛擬同步課堂教學系統，其特征在于：包括虛擬同步課堂生成模塊、虛擬同步課堂教學模塊、虛擬同步課堂教學互動模塊；

所述虛擬同步課堂生成模塊，設計并構建面向中小學虛擬教學的元件庫和組件庫，生成粒度不同的虛擬教學套件；支持教師通過虛擬教室可視化設計工具，在主視圖區域拖動元件、組件圖標，通過元件之間的組件連接和參數設置可確定虛擬課堂的內容和執行次序；采用XML語言描述虛擬課堂設計結果，使用樹結構記錄可嵌套的父子元素，映射功能函數的參數端口，實現基于場景樹的虛擬課堂的共享和互操作；

所述虛擬同步課堂教學模塊，采用C/S架構模式，在服務端應用RPC框架，采用總、分結構架設同步課堂服務器，利用Protobuf協議實現云—端、端—端之間數據包的傳輸，使用基于時間戳的一致性排序策略同步虛擬課堂的教學活動；支持教師執行虛擬課堂腳本，在本地生成虛擬教室，師生以虛擬化身進入虛擬課堂，在各客戶端之間實現數據、消息、狀態信息同步，應用云錨點技術保持各客戶端畫面、視場和顯示焦點的一致；支持教師創設、切換虛擬課堂，分組開展教學活動，使用并發鎖與沖突避免機制處理多用戶并發操作；

所述虛擬同步課堂教學互動模塊，支持師生、生生之間通過文字、語音、視頻形式，基于直聯、廣播機制開展多對多、一對多、一對一教學；通過在虛擬教室中設置電子屏幕，將同步控制器屏幕內容同步顯示到電子屏幕上，支持正面觀看虛擬化身頭部上方的文字或照片信息；使用云增量技術在云—端、端—端同步更新交互操作結果，運用畫筆渲染算法在同步控制器屏幕上繪制教學過程內容，支持師生查看虛擬課堂中的模型、資源以及化身的信息。

2.根據權利要求1所述的5G網絡環境下虛擬同步課堂教學系統，其特征在于：所述虛擬同步課堂生成模塊，包括虛擬教學套件生成子模塊、虛擬課堂可視化設計子模塊、共享和互操作子模塊；

所述虛擬教學套件生成子模塊針對中小學虛擬教學的需求，設計并構建元件庫和組件庫，生成粒度不同的虛擬教學套件；

所述虛擬課堂可視化設計子模塊，創建一個虛擬教室可視化設計工具，支持教師在主視圖區域拖動元件、組件圖標，設計虛擬課堂中的元素，元件之間的組件連接和參數設置可確定虛擬課堂的內容和執行次序；

所述共享與互操作子模塊，采用XML語言描述虛擬課堂設計結果，使用樹結構記錄可嵌套的父子元素，映射復雜的邏輯關系，實現基于場景樹的虛擬課堂的共享和互操作。

3.根據權利要求1所述的5G網絡環境下虛擬同步課堂教學系統，其特征在于：所述虛擬同步課堂教學模塊，包括服務端、客戶端和管理子模塊；

所述服務端應用RPC框架，采用總、分結構架設同步課堂服務器，利用Protobuf協議實現云—端、端—端之間數據包的傳輸，使用基于時間戳的一致性排序策略同步虛擬課堂的教學活動；

所述客戶端支持教師執行虛擬課堂腳本，在本地生成虛擬教室，師生以虛擬化身進入虛擬課堂，在各客戶端之間實現數據、消息、狀態信息同步，應用云錨點技術保持各客戶端畫面、視場和顯示焦點的一致；所述管理子模塊支持教師創設、切換虛擬課堂，分組開展教學活動，使用并發鎖與沖突避免機制處理多用戶并發操作。

4.根據權利要求1所述的5G網絡環境下虛擬同步課堂教學系統，其特征在于：所述虛擬同步課堂教學互動模塊，包括教學互動子模塊、內容顯示子模塊和信息瀏覽子模塊；

所述教學互動子模塊支持師生、生生之間通過文字、語音、視頻形式，基于直聯、廣播機制開展多對多、一對多、一對一教學；

所述內容顯示子模塊利用虛擬教室前端的電子屏幕元件，將同步控制器屏幕內容同步顯示到電子屏幕上，支持正面觀看虛擬化身頭部上方的文字或照片信息；

所述信息瀏覽子模塊使用云增量技術在云—端、端—端同步更新交互操作結果，運用畫筆渲染算法在同步控制器屏幕上繪制教學過程內容，支持師生查看虛擬課堂中的模型、資源以及化身的信息。

5.一種如權利要求1所述的5G網絡環境下虛擬同步課堂教學系統的工作方法，其特征在于該方法包括以下步驟：

(1)虛擬同步課堂生成

(1-1)虛擬教學套件生成子模塊分析中小學虛擬教學的需求，設計并構建包含眾多類別的元件庫；提取相同的功能、算法和函數，封裝成虛擬組件庫；設計虛擬教學場景的組合規則，檢驗元件之間可組裝性、組裝次序和幾何配準，生成粒度不同的虛擬教學套件；

(1-1-1)元件庫構建；根據基礎教育新課標，分析中學物理、化學、生物、地理和小學科學的知識點，整理虛擬教學涉及的元素，按元素屬性分成師生化身、場景模型、材質紋理、光照特效元件，組合形成包含眾多類別的元件庫；

(1-1-2)公共組件庫生成；分析不同學科虛擬教學的流程，抽取相同的功能、算法和函數，通過分類、組合形成具有不同處理功能的公共組件，生成虛擬教學公共組件庫，與元件配合使用，實現虛擬課堂創建、教學過程互動、網絡數據調用功能；

(1-1-3)虛擬教學套件的生成；根據虛擬教學流程，設計虛擬課堂教學場景的組合規則，通過調用公共組件庫中相關功能，校驗、檢測虛擬課堂中各元件之間連接、包含、關聯、排斥關系的正確性，判斷各元件之間的可組裝性、組裝次序和幾何配準程度，生成粒度不同的虛擬教學套件；

(1-2)虛擬課堂可視化設計子模塊創建虛擬教室可視化設計工具，教師在主視圖區域拖動元件、組件圖標，可視化設計虛擬教室的場景、模型、角色元素，元件之間的組件連接和參數設置可確定虛擬課堂的內容和執行次序；

(1-2-1)創建虛擬課堂的可視化設計工具，在元件與組件列表框內使用圖標+名稱的組合表示每個元素；教師可將元件、組件圖標拖動到主視圖區，使用組件實現各類元件之間輸入、輸出的連接；

(1-2-2)虛擬課堂的設計，根據教學活動設計，教師從圖標區拖動不同的元件與組件圖標到主視圖區，使用組件連接各個元件，應用虛擬套件的生成規則，檢查各個元件之間的可組裝性、組裝次序和幾何配準，驗證虛擬課堂教學場景設計意圖的可行性；

(1-2-3)組件功能函數的參數設置，通過為功能函數添加輸入、輸出參數，設置虛擬教室中桌椅數量、初始排列、位置姿態、光照強度參數，實現元件和組件功能的高耦合，采用不同的虛擬教學套件生成規則，構建多種虛擬場景組合形態；

(1-3)共享和互操作子模塊參考可編程儀器標準，采用XML語言描述虛擬同步課堂設計結果，使用樹結構記錄虛擬課堂中可嵌套的父子元件，映射元件之間復雜的邏輯關系，實現基于場景樹的虛擬課堂的腳本文件存儲，使用反射機制解析腳本，實現虛擬課堂設計結果的互操作；

(1-3-1)虛擬課堂的存儲；參考可編程儀器標準，采用XML語言描述虛擬同步課堂設計結果，使用樹結構記錄虛擬教室中元件之間的父子關系，采用Map數據結構 映射復雜的邏輯關系，運用抽象語法樹描述虛擬課堂的組件功能與執行順序；

(1-3-2)虛擬課堂的腳本記錄；教師保存虛擬教室的可視化設計成果時，在XML腳本文件中記錄師生列表、場景布局、課堂狀態及其邏輯關系，使用樹狀結構映射函數的參數端口，實現基于場景樹的虛擬課堂的腳本記錄；

(1-3-3)執行虛擬課堂腳本；使用訪問者模式遍歷XML文件中的各個元素，從語法樹結構中抽取設計意圖、元件模型和組件函數，依次執行函數匹配、端口映射以及其對應的幾何模型、材質紋理、動畫特效的動態加載，經過格式、語義和組合規則的驗證，執行腳本命令，創建虛擬課堂；

(2)虛擬同步課堂教學

(2-1)同步課堂服務端子模塊應用RPC框架，采用總、分結構架設同步課堂服務器，負責處理不同的數據和信息轉發；利用Protobuf協議將活動、操作、交互封裝成數據包，實現云—端、端—端之間的傳輸；采用基于時間戳的一致性排序策略同步控制虛擬課堂的教學活動；

(2-1-1)總分服務器架構搭建；應用RPC框架，在C/S架構的基礎上采用分布式設計方式，將虛擬課堂的模型、素材、資源內容分發與交互信息的處理服務抽離出來，交由分服務器負責，總服務器僅負責師生登錄和信息維護，并管理分組服務器；

(2-1-2)利用Protobuf協議高壓縮、序列化的特征，將邏輯數據封裝成數據包，使用通信模塊實現師生終端與云端服務器之間活動、操作、交互數據的接收、分發，實時更新虛擬課堂中師生化身的位置移動、觀察角度，與其它對象的綁定關系；

(2-1-3)虛擬課堂教學場景的同步；針對網絡延遲或新成員加入導致不同終端虛擬場景畫面或交互狀態的不一致，采用基于時間戳的一致性排序策略同步控制虛擬課堂的教學場景；若發生沖突，根據各成員的權限，由服務器端協調形成解決方案，并將執行指令發送給各客戶端；

(2-2)同步課堂客戶端子模塊根據解析的虛擬課堂腳本命令，從云端服務器下載教學資源，在本地客戶端生成虛擬教室；師生以虛擬化身的形式進入虛擬課堂，與其他師生開展異地遠程同步教學；教學過程中實現云—端、端—端之間數據、消息、狀態的同步，應用云錨點技術，確保各客戶端畫面內容、視場角度和顯示重點一致；

(2-2-1)虛擬教室的生成；根據解析的虛擬課堂腳本命令，從云端服務器下載相應的師生化身、場景模型、教學資源，在本地客戶端重建虛擬教室，完成虛擬場景、模型、師生化身的布設和重建，以及狀態、消息、行為同步；

(2-2-2)虛擬課堂的創建；根據課程表和上課學生名單，教師使用消息推送功能通知學生加入教學活動，師生通過本地客戶端進入虛擬課堂，以虛擬化身的形式進入到其他參與者的虛擬教室中，開展異地遠程同步虛擬教學；

(2-2-3)虛擬教學活動的開展；采用固定或隨機方式，分配教學活動中師生虛擬化身的位置、視角、物品；應用云錨點技術，記錄虛擬教室中對象的位置、旋轉、縮放、層級內容，通過與云端服務器的通信，同步各客戶端之間的數據、消息和狀態，確保各客戶端畫面內容、視場角度和顯示重點一致；

(2-3)同步課堂管理子模塊中教師根據教學計劃，邀請班級同學加入虛擬課堂，依據教學活動的需要分組，并指定組長；退出或切換虛擬課堂時，將解除、清空與當前課堂的綁定關系；使用并發鎖與沖突避免機制處理多用戶并發操作；

(2-3-1)師生用戶管理；通過注冊、批量導入學校或班級的花名冊信息到師生用戶表中，創建不同類別的師生訪問權限；教師可根據教學計劃將學生分組，并指定組長協助教師開展教學活動，通過網絡偵測技術，監聽虛擬課堂中師生的在/離線狀態；

(2-3-2)教學活動管理；支持教師基于課表創建不同的虛擬課堂，根據課堂選課人員信息，使用消息推送功能邀請相關學生加入到虛擬課堂的教學活動中；師生退出或切換虛擬課堂時，解除與當前虛擬課堂的綁定關系，清空虛擬教室中的化身；

(2-3-3)權限管理；根據超級管理員、管理員、教師、學生的角色，授予其在虛擬同步課堂教學系統的權限；師生在虛擬教學活動中執行創建、編輯、刪除操作時，根據各參與者的權限，使用并發鎖與沖突避免機制處理并發操作；

(3)虛擬同步課堂教學互動

(3-1)教學互動子模塊支持師生、生生之間通過文字、語音、視頻形式，開展多對多、一對多、一對一教學；通過直聯功能發起、開展一對一教學，并鎖定他們的化身狀態；采用廣播模式實現參與者之間教學內容的同步，運用特殊方式展示教學過程信息；

(3-1-1)教學互動機制；在虛擬同步課堂教學活動中，支持師生、生生之間通過文字、語音、視頻形式，開展多對多、一對多、一對一教學；支持采用聲音、特效、震動反饋形式為教師講解、提問，學生舉手、發言互動點贊與鼓掌；

(3-1-2)一對一教學；虛擬課堂中，師生或生生之間通過點擊虛擬化身或成員列表發起一對一直聯請求，接受后，通過文字、語音、視頻互動形式開展一對一講解、提問、答疑教學活動；此時將他們的虛擬化身標注為鎖定狀態，不再參與教學活動中其它互動；

(3-1-3)一對多教學；開展大班或分組教學過程中，可采用廣播模式實現虛擬課堂中各參與者之間消息、文本、語音、視頻教學內容的同步，運用透明疊加、高亮顯示、特殊顏色方式展示教學過程信息；

(3-2)內容顯示子模塊中師生可根據控制權限，將同步控制器屏幕上的內容顯示到放置在虛擬教室前部的電子屏幕上，為進入虛擬教室的師生化身頭部上方添加文字或照片標識，并能支持正面觀看；

(3-2-1)顯示教學內容；采用動態紋理技術將教學內容顯示到放置在虛擬教室前端的電子屏幕上，通過透明圖層的方式將教師的板書與批注、學生的評論和回答教學過程信息疊加顯示在電子屏幕上；

(3-2-2)配置同步控制器；為進入虛擬課堂的師生化身配置同步控制器，同步控制器屏幕可顯示教學內容或教學過程信息，教學過程中可以在同步控制器屏幕上書寫、繪制教學重難點的講解信息，并將這些信息同步顯示到電子屏幕上；

(3-2-3)標注虛擬化身信息；在本地虛擬教室中，其他參與者虛擬化身的頭部上方，使用Billboard平面創建標識，可添加姓名、性別、班級文字或圖片信息，根據觀察者與虛擬化身的位置、視線方向，繞Z軸旋轉，確保其正面朝向觀察者；

(3-3)信息瀏覽子模塊使用云增量技術在云—端、端—端同步更新交互操作結果；應用畫筆渲染算法在同步控制器屏幕上繪制教學信息，并在電子屏幕上展示；支持師生選中、查看虛擬課堂中的模型、資源以及化身的信息；

(3-3-1)更新教學互動；在虛擬課堂中，師生、生生之間通過虛擬化身開展教學活動，采用移動、縮放、點擊方式與虛擬教室中模型、場景、資源互動，使用云增量技術在云—端、端—端同步更新交互操作結果；

(3-3-2)呈現教學過程信息；通過追蹤參與者的動作，采用實時繪圖的畫筆渲染算法，在同步控制器屏幕上繪制批注、標示過程信息；當前擁有電子屏幕控制權限的師生，可將教學過程信息疊加顯示在電子屏幕的對應教學內容上；

(3-3-3)查看虛擬環境信息；教學過程中，師生通過手勢、視線、語音交互方式，選中本地虛擬課堂中的模型、化身、資源對象，瀏覽教學過程信息，查看其他師生虛擬化身附帶的信息。