[發明專利]一種面向野外實踐教學的虛擬學習環境多通道融合展示方法

有效

• 申請號: 201911312490.8
• 申請日: 2019-12-18
• 公開（公告）號: CN111009158B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 楊宗凱;鐘正;吳砥;吳珂
• 申請（專利權）人: 華中師范大學
• 主分類號: G09B5/06
• 分類號: G09B5/06
• 代理公司: 武漢天力專利事務所 42208
• 代理人: 吳曉穎

1.一種面向野外實踐教學的虛擬學習環境多通道融合展示方法，其特征在于該方法包括以下步驟：

(1)內容生成：采用航拍和地面采集相結合的方式完成實踐區域的VR全景內容采集，構建VR學習環境中不同層級、區域知識要素的組織方式，完成場景之間跳轉效果的優化；具體包括以下步驟

(1-1)數據采集，為真實還原野外實踐教學過程，從地面觀察點和航拍區兩個層面，采集野外實踐區的教學信息，以VR全景視頻的方式完成數字化；

(1-1-1)地面觀察點信息采集，針對地面觀察實踐內容，使用高清運動攝像機組，捕捉全角度動態影像，實現高密度、多角度、實地實景信息采集，全面獲得野外實踐場景的素材信息；

(1-1-2)無人機航拍信息采集，針對宏觀大尺度的野外實踐區生境鳥瞰和垂直分布情況的觀察，通過無人機在不同生態區拍攝航拍區生境，以獲取全視野的素材信息；

(1-1-3)兩者映射，無人機航拍采集點需與地面觀察點內容相對應，即一個區域采集一次全景航拍內容，相應地需要采集多個地面觀察點的信息數據；

(1-2)數據組織，依據教學內容的遞進關系和關聯度，構建不同層級、不同區域知識要素之間的聚合模式；按照野外實踐的流程動線，將學科知識內容與實踐路線融合；

(1-2-1)采集點標注，采用電子地圖作為基礎地理數據平臺，用不同的符號表示地面觀察和無人機航拍的VR全景采集點，并按照空間位置將它們標注到電子地圖上；

(1-2-2)縱向關聯，利用金字塔層次結構模型構建VR學習環境中航拍場景到地面采集點的關聯關系，實現宏觀場景到微觀對象的快速切換；

(1-2-3)橫向關聯，在實踐區域的地形地貌沙盤模型上，按照野外實踐的移動路線，組合生態區航拍點、地面觀測點、學科知識點，形成不同的考察路線；

(1-3)場景過渡，針對實習場地和內容之間的相互關系，設計場景之間跳轉及轉換效果的優化方案；

(1-3-1)引導元素提示，VR學習環境的交互界面由二維平面變成三維球體；通過設計文字、符號、語音媒體導航信息引導學習者更廣闊的視野；

(1-3-2)場景轉換，根據兩個場景在地理上的相對位置，在前一個場景中添加目標轉換點的指示圖標，作為后一個場景的跳轉入口；

(1-3-3)過渡優化，針對場景切換時，存在的畫面色彩、明暗度、內容差別較大的情況，采取相似、漸變融合和突出顯示的方式，解決視覺特變現象；

(2)視聽通道融合：采用線性體積-距離衰減法表示VR學習環境中學習對象與背景聲源的衰減，實現VR場景中不同對象聲音的空間渲染方式；結合頭部追蹤技術，實現學習者頭部移動時全景視頻與聲音的同步更新；具體包括以下步驟

(2-1)視聽結合的空間渲染，基于多普勒效應模型，結合雙耳定位音頻技術，采用線性體積-距離衰減法表示VR學習環境中對象和其他背景聲源的衰減，實現適用于VR場景中不同對象聲音和背景聲效的空間渲染方式；

(2-1-1)多聲源模擬，按照位置、方向、衰減以及多普勒效應動態變化參數，在VR學習環境中模擬相應對象的靜態、動態點聲源，以及無位置、速度參數的背景聲效；

(2-1-2)多聲源混合，為了模擬野外真實環境下對象的發聲場景，將不同對象的聲音的頻譜相互融合，生成多軌道混音；

(2-1-3)聲音衰減效果表示，采用對數與線性相結合的衰減方式來還原野外真實環境中距離、方向因素對聲音衰減效果的影響，對方向性點聲源使用對數衰減模式，背景聲源采用線性距離衰減方式；

(2-1-4)雙耳定位，基于聲音的響度、頻譜特征所反映的聲源運動、方向、位置和結構屬性，根據聲音傳播原理，定位VR學習環境中聲源相對于學習者的位置；

(2-1-5)空間渲染，考慮多普勒效應，根據VR學習環境中學習者所處位置與聲源方向、距離與運動變化，渲染不同強度的左、右耳聲道；

(2-2)音視頻的同步更新，結合頭部追蹤技術，支持VR學習環境中學習者頭部移動時視頻畫面與聲音的同步更新，實現視聽覺的多通道融合展示；

(2-2-1)頭、耳同步，根據VR畫面的刷新頻率，實時跟蹤VR學習環境中學習者頭部的位置和姿態，重新確定聲源相對于學習者的距離和方向，實現學習者觀察到的圖像畫面與聽到的聲音渲染步調一致；

(2-2-2)視、聽融合，根據教學要求，展現VR學習環境中的內容場景，學習者通過頭部轉換，將視角定位在相應內容上，按照學習者與時間點的遠近，渲染出不同聲源的音量；

(2-2-3)消除多聲源干擾，針對VR學習環境中存在多聲源的現象，采用聲源衰減函數，模擬聲音的混響范圍，從而減少多聲源干擾因素；

(3)多通道交互設計，針對VR學習環境中學習者多感官協同交互的要求，按照交互任務—交互行為—交互體驗的順序，根據交互對象的相應參數，篩選、判斷、決策與融合多感官交互行為；具體包括以下步驟

(3-1)交互任務設計，達到交互行為的有序參與，形成良好的交互體驗，從而為多通道交互提供良好的機制；

(3-1-1)交互任務分解，任務設計時，需要分解任務的時間和空間屬性，按照任務的屬性，設計任務交互的方式、目的、動作、作用以及具體流程；

(3-1-2)空間任務設計，空間交互任務設計過程中要始終保證視覺反饋的連貫性，執行時也應優先執行空間任務；

(3-1-3)時間任務設計，強調對聽覺通道信息的設計，內容包括背景音樂、反饋音效，重點考慮輸出環節中聲音的信息內容和準確性；

(3-2)任務決策，多通道交互信息輸入后，首先判斷它們之間的協作關系，完成多通道信息輸入的融合；再根據各個輸出信息權重和可靠性判斷，將反饋信息準確傳達至學習者的感官，完成多通道的融合；

(3-2-1)輸入信息的合成，根據視、聽、觸覺通道的輸入信息，判斷在任務執行中各個信息的協作關系，完成各個通道信息輸入的合成；

(3-2-2)多通道整合，根據對各個通道的輸入信息進行權重決策，以確保將輸出信息準確地傳達給VR學習環境中的學習者，形成多通道整合的條件；

(3-2-3)多通道融合，通過合理調配各個通道的輸出信息，將反饋信息準確傳達至學習者的各個感官，完成多通道的融合，使學習者收獲良好的交互體驗。