[發明專利]模板化編輯的虛擬內容在MR/AR頭戴設備中交互呈現方法

在審

• 申請號: 202210645714.2
• 申請日: 2022-06-08
• 公開（公告）號: CN114860084A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 劉玉婷;溫曉晴
• 申請（專利權）人: 廣東技術師范大學;深圳迪樂普數碼科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李燕娥

1.一種模板化編輯的虛擬內容在MR/AR頭戴設備中交互呈現方法，其特征在于，所述方法應用于渲染單元中，所述渲染單元與頭戴設備及手柄建立網絡連接以實現數據信息的傳輸，所述方法包括：

采用相對坐標系構建三維虛擬空間，根據預置參數值將媒體素材添加至該三維虛擬空間中，并采用模板化編輯制作生成虛擬仿真內容；

獲取所述頭戴設備的第一位置姿態信息及所述手柄的第二位置姿態信息；

根據所述第一位置姿態信息識別實景圖像中的特定標記物建立絕對坐標系，并匹配所述虛擬仿真內容中相應虛擬物體，得到校正參數，實現絕對坐標構建的三維虛擬空間的虛擬仿真；

針對所述實景圖像中的實景物體構建對應的虛擬物體，調整虛擬物體的位置、姿態及大小以匹配實景物體，從而生成實景物體的對應的掩膜，進而實現虛擬物體和實景物體的穿越遮擋；

獲取所述手柄輸入的手柄按鍵信息并根據所述第二位置姿態信息，通過虛擬仿真模板參數及虛擬仿真內容參數對所述手柄按鍵信息進行邏輯判斷，得到對應的邏輯判斷結果；

根據所述校正參數、所述虛擬仿真內容、所述虛擬仿真模板參數及所述掩膜生成的虛擬場景與所述實景圖像疊加生成最終渲染圖像并輸出至所述頭戴設備的顯示器進行顯示。

2.根據權利要求1所述的模板化編輯的虛擬內容在MR/AR頭戴設備中交互呈現方法，其特征在于，所述采用相對坐標系構建三維虛擬空間，根據預置參數值將媒體素材添加至該三維虛擬空間中，并采用模板化編輯制作生成虛擬仿真內容，包括：

在所述三維虛擬空間中以相對坐標系建立對應的虛擬空間坐標系；

根據所述預置參數值將媒體素材添加至所述虛擬空間坐標系以生成虛擬物體；所述預置參數值包括各媒體素材的位置、姿態、大小；所述媒體素材包括圖片、視頻、flash、網頁、流媒體、3d模型、動畫、聲音；

根據預設的邏輯關系及狀態變化信息生成添加至所述虛擬空間坐標系中各虛擬物體的屬性連接、屬性仿真、組合動畫及腳本；

根據預設的交互參數設定所述虛擬空間坐標系中各虛擬物體的交互觸發點、交互邏輯、交互操作類型，以生成所述虛擬仿真內容。

3.根據權利要求1或2所述的模板化編輯的虛擬內容在MR/AR頭戴設備中交互呈現方法，其特征在于，所述實景圖像為所述頭戴設備的攝像頭拍攝并輸出至渲染單元的實景圖像，所述根據所述第一位置姿態信息識別實景圖像中的特定標記物建立絕對坐標系，并匹配所述虛擬仿真內容中相應虛擬物體，得到校正參數，實現絕對坐標構建的三維虛擬空間的虛擬仿真，包括：

識別所述實景圖像中的多個特定標記物，以得到每一所述特定標記物對應的位置信息；

將各所述特定標記物作為坐標原點以根據各所述特定標記物的位置信息建立標記物坐標系；

將所述實景圖像中特定標記物與所述虛擬仿真內容中的虛擬物體進行形狀匹配，以確定所述虛擬仿真內容中與所述特定標記物形狀相同的虛擬物品的匹配關系；

根據所述匹配關系計算所述三維虛擬空間的虛擬空間坐標系與所述標記物坐標系對應的變換矩陣，所述變換矩陣由校正參數組成。

4.根據權利要求1所述的模板化編輯的虛擬內容在MR/AR頭戴設備中交互呈現方法，其特征在于，所述針對所述實景圖像中的實景物體構建對應的虛擬物體，調整虛擬物體的位置、姿態及大小以匹配實景物體，從而生成實景物體的對應的掩膜，進而實現虛擬物體和實景物體的穿越遮擋，包括：

確定所述虛擬仿真內容中與所述實景圖像中的第一物體對應的目標虛擬物體；所述第一物體為所述實景圖像中與背景分割的物體；

根據所述目標虛擬物體在所述虛擬仿真內容中的3D模型生成與所述第一物體對應的掩膜；所述虛擬物體不可見。