[發明專利]一種基于5G網絡的沉浸式可視化校園系統

有效

• 申請號: 201911148850.5
• 申請日: 2019-11-21
• 公開（公告）號: CN110971678B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 蔡鐵峰;陳銳浩;王瑛;冀健
• 申請（專利權）人: 深圳職業技術學院
• 主分類號: H04L67/12
• 分類號: H04L67/12;H04L67/1097;G06T19/00;G06T15/00;G06T7/30;G06Q50/20
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡吉科

1.一種基于5G網絡的沉浸式可視化校園系統，其特征在于，包括5G課堂教學系統和5G實訓學習系統，所述5G課堂教學系統包括課室三屏全空間系統、師生控制三端系統、學生多端體驗系統、以及利用5G通訊實現云存儲、云渲染和云定位視覺計算功能的校園云端；所述5G實訓學習系統包括體驗終端和校園云端，所述5G實訓學習系統的校園云端包括云存儲中心模塊、云視覺計算模塊、云虛擬物體狀態計算模塊、云渲染模塊；

所述5G實訓學習系統執行如下步驟：

步驟A.校園初始化步驟：XR校園場景初始化，云虛擬物體狀態計算模塊從云存儲中心模塊讀取XR校園大場景數據，初始化XR校園大場景，以及各子場景虛擬物體狀態；

步驟B.體驗終端發送關鍵幀圖像到校園云端步驟：對于任意體驗終端h_i，當前幀圖像為根據與前一幅關鍵幀圖像的差異度判斷圖像是否為關鍵幀，如果是，則把關鍵幀圖像發送到云視覺計算模塊；

步驟C.讀取真實校園場景表征數據步驟：云視覺計算模塊從云存儲中心模塊提取體驗終端周圍區域的校園場景表征進行包括定位在內的視覺計算；

步驟D.校園云端對體驗終端關鍵幀包括定位在內的視覺計算步驟：云視覺計算模塊進行體驗終端關鍵幀圖像到校園場景表征數據的配準，獲得各體驗終端關鍵幀圖像對應的高精度定位，并把定位數據發送到對應的體驗終端，并進一步計算得到視場內真實物體的狀態，如果計算得出校園場景發生改變，可以在一定機制下修改校園表征數據，并發送到云存儲中心模塊；

步驟E.體驗終端定位計算步驟：體驗終端接收云視覺計算模塊發送回來的關鍵幀圖像對應的位姿數據，以關鍵幀位姿為基準，體驗終端當前幀圖像數據與關鍵幀配準，計算得到當前幀的位姿，將位姿數據發送到云虛擬物體狀態計算模塊；

步驟F.實時計算各虛擬物體狀態步驟：云虛擬物體狀態計算模塊接收體驗終端發送過來的位姿信息、互動輸入，以及云視覺計算模塊生成的對校園內真實物體的認知，實時計算各虛擬物體狀態；

步驟G.分布式渲染步驟：由云渲染模塊與體驗終端進行分配完成渲染工作；

步驟H.顯示步驟：將合成的渲染圖像進行顯示。

2.根據權利要求1所述的沉浸式可視化校園系統，其特征在于：在所述5G實訓學習系統中，體驗終端與校園云端一起承擔存儲、視覺計算與渲染的功能，體驗終端用于信號采集、互動輸入以及顯示，同時與校園云端一起承擔存儲、視覺定位與渲染的功能，體驗終端不把采集的每幀圖像傳輸到校園云端，只把具有重要定位信息的關鍵幀圖像傳輸到校園云端，云存儲中心模塊存儲虛擬物體模型、XR校園場景以及真實校園場景表征，云視覺計算模塊根據體驗終端攝像頭采集的關鍵幀圖像、慣性傳感器、衛星定位系統的信號，與云存儲中心模塊的校園場景表征進行配準，計算關鍵幀對應的體驗終端位姿，并可以進一步獲取對校園場景當前狀態的認知，還可以在一定規則下對校園場景表征進行修正；體驗終端對每幀圖像進行定位計算，根據云視覺計算模塊對關鍵幀的定位信息校準得到體驗終端在校園內的準確位姿；云虛擬物體狀態計算模塊根據互動輸入、云視覺計算模塊生成的場景認知信息以及體驗終端發送過來的視覺定位信息，實時計算XR校園內各虛擬物體的狀態；云虛擬物體狀態計算模塊分配渲染任務，根據體驗終端定位信息，以及虛擬物體的遠近、虛擬物體是否靜止因素綜合決定校園云端和體驗終端分別需要渲染的虛擬物體列表，并分別把這些虛擬物體的狀態向量發送給云渲染模塊和體驗終端；云渲染模塊不需要和體驗終端在相同頻率下渲染圖像，可以在較低頻率下渲染圖像，但渲染的單幅圖像的視場要足夠大，以滿足能覆蓋一個時間段內體驗終端視場的需求；云渲染模塊根據從云虛擬物體狀態計算模塊發送過來的虛擬物體列表、各虛擬物體狀態、終端的定位信息，從云存儲中心模塊提取相應的虛擬物體模型，渲染出大視場角圖像或者全景圖像，并給出深度圖像；體驗終端根據定位信息，以及云虛擬物體狀態計算模塊發送過來的虛擬物體列表，從云存儲中心模塊提取相應的虛擬物體模型，然后進一步云虛擬物體狀態計算模塊發送過來的各虛擬物體狀態，渲染出圖像；體驗終端接收到校園云端渲染的圖像后，通過計算生成在當前位姿下的圖像，然后根據深度圖像與終端自身生成的圖像合成得到最終要顯示的圖像；校園云端與體驗終端存儲分工為：校園云端存儲整個校園場景表征以及整個XR校園的場景，體驗終端根據所處位置，從校園云端提取并存儲所在位置局部區域的校園場景表征以及局部XR校園場景；校園云端與體驗終端定位功能不同，分工為：校園云端對關鍵幀視覺定位，體驗終端對每幀圖像進行定位計算，根據云視覺計算模塊對關鍵幀的定位信息校準得到體驗終端在校園內的準確位姿；校園云端與體驗終端渲染幀頻不同，校園云端的幀頻可以低于體驗終端；體驗終端渲染的圖像和校園云端渲染的圖像要合成同一幅圖像，由于校園云端渲染的圖像是大視場角，可以用來與體驗終端連續多幀圖像進行合成。