[發明專利]用于三維視覺與環境交互的系統架構、方法及電子設備

在審

• 申請號: 202211193196.1
• 申請日: 2022-09-28
• 公開（公告）號: CN115731368A
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 王靜逸;邢磊;舒展;李俊杰;張國超;蔡娟;曹巖;唐景峰;張術芬;張鶴苧;張俊
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐樂樂

本發明涉及虛擬現實技術領域，具體是一種用于三維視覺與環境交互的系統架構、方法、電子設備、存儲介質及程序產品。其中，用于三維視覺與環境交互的系統架構包括：業務應用層，所述業務應用層包括系統交互模塊，所述系統交互模塊包括基于視覺射線交互模塊和基于三維世界物體對象交互模塊；功能管理組件層，所述功能管理組件層包括碰撞檢測管理模塊和UI系統狀態機管理模塊；系統管理層，所述系統管理層包括UI系統管理與監聽模塊。本發明的用于三維視覺與環境交互的系統架構，能夠實現監管方數據報送需求的自動化處理，提供了UI系統的統一交互模式，實現通用和復雜的UI系統交互。

技術領域

本發明涉及本發明涉及虛擬現實技術領域，特別涉及一種用于三維視覺與環境交互的系統架構、方法、電子設備、計算機可讀存儲介質及計算機程序產品。

背景技術

伴隨著VR/AR軟硬件發展，大量的系統操作都借助于VR/AR頭顯外部的控制設備(比如手柄)或者頭顯上的物理按鍵進行操作。VR/AR現階段的設備操作系統，大多是依賴于Android系統進行定制改造形成，所采用的系統UI是基于Android原生的UI系統進行定制改造。另外，在VR/AR技術發展的突飛猛進的環境下，基于3D環境下使用三維圖形引擎來進行系統與環境的開發，也在逐步成熟。

然而，現有的三維視覺與環境交互，都只解決了單一的UI系統能力(或是基于視線檢測實現按鈕的單一點擊或其他響應事件，或是基于物體角色碰撞解決場景內交互響應)，UI的系統響應沒有一致性的狀態機制和統一的交互模式，無法成為較為通用和實現復雜交互功能的系統方法。

發明內容

針對現有技術的上述問題，本發明的目的在于提供一種用于三維視覺與環境交互的系統架構、方法、電子設備、介質及程序產品，能夠提供UI系統的統一交互模式，能夠實現通用和復雜的UI系統交互。

為了解決上述問題，本發明第一方面提供一種用于三維視覺與環境交互的系統架構，所述架構包括：

業務應用層，所述業務應用層包括系統交互模塊，所述系統交互模塊包括基于視覺射線交互模塊和基于三維世界物體對象交互模塊；

功能管理組件層，所述功能管理組件層包括碰撞檢測管理模塊和UI系統狀態機管理模塊，所述碰撞檢測管理模塊用于檢測UI發射器所發射的UI發射對象和UI碰撞對象之間的碰撞，所述UI系統狀態機管理模塊用于檢測和控制UI交互對象狀態，所述UI交互對象狀態包括按下、彈起、點擊、拖動、選定、取消選定、自定義及滑動中的一種或多種；

系統管理層，所述系統管理層包括UI系統管理與監聽模塊，UI系統管理與監聽模塊用于基于業務應用層的所述系統交互模塊，生成所述UI交互對象，且用于監聽和調度所述功能管理組件層中所述碰撞檢測管理模塊和所述UI系統狀態機管理模塊，以根據用戶操作，通過所述碰撞檢測管理模塊檢測UI發射對象和UI碰撞對象之間的碰撞，并通過所述UI系統狀態機管理模塊改變所述UI交互對象的狀態，從而實現三維視覺與環境的交互。

進一步地，用于三維視覺與環境交互的系統架構還包括：

UI功能組件層，所述UI功能組件層包括UI系統套件，用于生成UI交互對象，且定義所述UI交互對象的狀態，

所述UI系統管理與監聽模塊通過所述UI系統套件生成所述UI交互對象，所述UI系統管理機狀態管理模塊通過所述UI系統套件改變所述UI交互對象的狀態。

進一步地，所述UI系統套件中的UI組件包括UI按鈕、UI計時器、復選框、容器、滑動框、滾屏拖動組件、消息彈窗中的系統套件框架及自定義組件。

進一步地，所述系統管理層還包括：

UI渲染組件，用于渲染所述UI組件；

外設管理器模塊，用于管理外設設備的軟件開發工具包和通信協議信號。