[發明專利]一種基于反轉增強現實的智能家具體驗官系統

在審

• 申請號: 202210015101.0
• 申請日: 2022-01-07
• 公開（公告）號: CN114359524A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 丁正平;李常旦;劉業政;孫春華
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T13/20;G06T13/40;G06F3/01;G06F3/04815;G06F16/332;G06F16/33
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于反轉增強現實的智能家具體驗官系統，其特征包括：傳感器模塊、AR模塊、三維重建模塊、資源模塊、物理引擎模塊、體驗模塊和用戶接口模塊；

所述傳感器模塊是通過調用單目攝像頭、深度攝像頭、陀螺儀、加速度傳感器來獲取系統環境數據，并分別發送給所述三維重建模塊和AR模塊；所述系統環境數據包括：設備運動數據和環境數據；所述設備運動數據為系統所在的設備載體在三維空間中的角速度和加速度數據；所述環境數據為單目攝像頭獲取的視頻幀數據和深度攝像頭獲取的深度圖像數據；

所述AR模塊根據所接收的設備運動數據和視頻幀數據，以第一張穩定圖像中單目攝像頭的光心為原點O，以水平方向為X軸，以豎直方向為Y軸，單目攝像頭所觀察的方向為Z軸，建立世界坐標系，用于追蹤設備載體運動時的坐標和單目攝像頭視角數據，并發送給所述物理引擎模塊；

所述三維重建模塊根據所接收的深度圖像數據對設備載體所在的周圍環境進行三維重建，得到真實環境三維模型及其在世界坐標系中的坐標和體積數據，并發送給所述物理引擎模塊；

所述資源模塊用于存儲虛擬家具模型、家具體驗官的3D模型及其各種行為動作的動畫文件，用于提供給所述物理引擎模塊；

所述物理引擎模塊以所述世界坐標系為基礎，為所接收的真實環境三維模型、虛擬家具模型以及3D模型添加實例化的物理對象，使其具有物理屬性；其中，為真實環境三維模型中的固定地形添添加剛體對象和靜態碰撞體對象；為虛擬家具模型添加對應形態的剛體對象和運動碰撞對象；為3D模型添加關節對象用于模擬人的行動；同時添加角色控制器用于控制家具體驗官的移動速度和方向；

所述體驗模塊用于獲取用戶命令數據并進行判斷，若為選擇家具命令，則獲取設備載體上用戶點擊的位置數據A，以A點為基準，方向為單目攝像頭視角方向發射射線，用于檢測射線與場景坐標系中的虛擬家具模型是否發生碰撞，若發生，則得到碰撞對象的ID數據作為所選擇體驗的虛擬家具模型；若為體驗家具命令，則根據碰撞對象的ID數據獲取其位置坐標C以及家具體驗官的坐標B，從而得到方向向量BC，并控制家具體驗官按照方向向量BC朝碰撞對象的位置坐標C移動；當到達碰撞對象的位置坐標C的周圍區域時，觸發碰撞的物理屬性約束，并播放預設的動畫文件，使得家具體驗官與所體驗虛擬家具模型發生行為交互；

所述用戶接口模塊根據所體驗的虛擬家具模型的相關產品信息，用自然語言模版生成體驗感受并進行顯示。