[發明專利]一種面向野外實踐教學的虛擬學習環境多通道融合展示方法

有效

• 申請號: 201911312490.8
• 申請日: 2019-12-18
• 公開（公告）號: CN111009158B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 楊宗凱;鐘正;吳砥;吳珂
• 申請（專利權）人: 華中師范大學
• 主分類號: G09B5/06
• 分類號: G09B5/06
• 代理公司: 武漢天力專利事務所 42208
• 代理人: 吳曉穎

本發明屬于虛擬現實技術的教學應用領域，提供一種面向野外實踐教學的虛擬學習環境多通道融合展示方法，包括內容生成、視聽通道融合和多通道交互設計三個步驟。本發明根據VR學習環境中教學內容的特點，建立了一套從數據采集、知識組織和場景切換的生成方法；通過空間渲染方式，實現視聽通道的同步更新；評估各交互通道的輸入和輸出優先級的評估，完成VR學習環境中學習者多感官協同交互。本發明通過增加聽覺線索，增加多通道的用戶交互判別方式，實現VR學習環境的融合展示，可提升學習環境的真實感，提高參與者的沉浸體驗。

技術領域

本發明屬于虛擬現實(Virtual Reality，VR)技術的教學應用領域，更具體地，涉及一種面向野外實踐教學的虛擬學習環境多通道融合展示方法。

背景技術

野外實踐是地理、地質、生物等學科專業人才培養的重要實踐環節，是培養學生理論聯系實際并熟練掌握本學科基礎知識和基本技能，提高綜合素質和實踐創新能力的重要教育活動。但目前野外實踐存在諸多問題，如分類學基礎扎實、野外實踐經驗豐富的教師缺乏；實踐學生多，時間短，教師難以實現“一對一”的指導；實踐內容和模式單一，基本停留在物種的辨認、標本的采集和制作的層面上，實踐成果共享性和互動性差；采集標本與環境保護相沖突；因季節、天氣、生境的變化，導致在野外實踐中很多應該完成的內容難以完成；野外實踐存在山洪、塌方、泥石流等自然災害以及蟲蛇叮咬、摔傷、夏天中暑等諸多安全風險，導致學生野外實踐的效果受到影響。應用VR技術構建野外實踐環境，能突破時間和空間的限制，學生足不出戶，就能身臨其境地開展野外實踐，而且可無限重復學習，直至達到理想效果，將成為野外實踐教學的有益補充，既可有效解決野外實踐中面臨的眾多困難，又可以大大提升學習者的學習興趣。隨著5G商用進程的快速普及，VR內容所需的超高分辨率、全視角、低延遲等性能瓶頸會在很大程度上得到解決。面向野外實踐教學的虛擬學習環境將會擁有廣闊的應用前景。

當前采用全景方式雖能快速構建逼真的野外實踐VR學習環境，但還不能充分滿足野外實踐教學的實際需求。例如，以生物學野外實踐為例，VR全景視頻可以采集到動物之間的溝通行為、社交行為和繁殖行為等畫面，但很難向學習者傳達其所隱喻的生物行為，譬如動物的發聲機制、聲音信號特征、聲波接受、加工和識別在畫面中就不易傳達。通過多機位的聲音同步處理，學習者能感受到四面八方的聲音差異，全景聲模擬的聲源變化已能呈現自然逼真效果，但這是一種機位相對固定的情形，難以滿足野外實踐教學中對聽覺的全方位呈現需求。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種面向野外實踐教學的虛擬學習環境多通道融合展示方法，圍繞野外實踐教學虛擬仿真教學的需求，提出了一個內容生成、視聽融合和協同交互的方案。根據VR學習環境中教學內容的特點，建立了一套從數據采集、知識組織和場景切換的生成方法；通過空間渲染方式，實現視聽通道的同步更新；評估各交互通道的輸入和輸出優先級的評估，完成VR學習環境中學習者多感官協同交互。

本發明的目的是通過以下技術措施實現的。

一種面向野外實踐教學的虛擬學習環境多通道融合展示方法，包括內容生成、視聽通道融合和多通道交互設計三個步驟。

(1)內容生成：滿足野外實踐教學的需要，采用航拍和地面采集相結合的方式完成實踐區域的VR全景內容采集，構建VR學習環境中不同層級、區域知識要素的組織方式，完成場景之間跳轉效果的優化。

(1-1)數據采集。為真實還原野外實踐教學過程，從地面觀察點和航拍區兩個層面，采集野外實踐區的教學信息，以VR全景視頻的方式完成數字化。

(1-1-1)地面觀察點信息采集。針對地面觀察實踐內容，使用高清運動攝像機組，捕捉全角度動態影像，實現高密度、多角度、實地實景信息采集，全面獲得野外實踐場景的素材信息。

(1-1-2)無人機航拍信息采集。針對宏觀大尺度的野外實踐區生境鳥瞰和垂直分布情況的觀察等實踐內容，通過無人飛機在不同生態區拍攝航拍區生境，以獲取全視野的素材信息。