[發明專利]用于創建混合現實環境的系統、方法、顯示裝置、介質

有效

• 申請號: 201780050510.1
• 申請日: 2017-02-24
• 公開（公告）號: CN109643465B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 倉林修一
• 申請（專利權）人: CY游戲公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/80
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種用于創建混合現實環境的系統，其包括服務器、便攜式的顯示裝置和圖像獲取裝置，所述顯示裝置包括用于向用戶顯示虛擬物體的顯示單元和用于拍攝真實空間的拍攝單元，以及所述圖像獲取裝置用于從能夠拍攝預定真實空間中的區域的多個固定點分別獲取圖像，所述系統使得能夠針對用戶經由所述顯示單元觀看的真實空間或真實空間的拍攝圖像以疊加方式繪制虛擬物體，

所述服務器或所述顯示裝置包括：

三維空間數據存儲部，其被配置為存儲基于預先獲得的位于所述預定真實空間中的真實物體的點云數據而創建的三維空間數據，所述三維空間數據包括各自具有三維位置信息的三維形狀要素；

表存儲部，其被配置為存儲表，其中在所述表中，所述圖像獲取裝置所獲取到的圖像的各個像素的位置信息與由該像素表示的一個或多個三維形狀要素的三維位置信息相關聯；

顏色信息確定部，其被配置為使用所述表以基于與所述三維形狀要素相關聯的一個或多個像素的顏色信息來確定所述三維形狀要素的顏色信息；

顏色信息更新部，其被配置為針對所述圖像獲取裝置所獲取到的圖像的各個像素，判斷所述各個像素的顏色信息的變化是否滿足預定條件，并使用滿足所述預定條件的各個像素的最新顏色信息來更新所述三維形狀要素的顏色信息，其中，所述像素的顏色信息的變化滿足所述預定條件的情況是該像素的最新顏色信息位于該像素的原始顏色信息的特定距離范圍內的情況，或者對于各單個像素、預定數量的過去的圖像幀的顏色信息的平均值位于該像素的原始顏色信息的特定距離范圍內的情況；

用戶環境確定部，其被配置為確定所述顯示裝置的位置和所述拍攝單元的拍攝方向；

虛擬照明信息生成部，其被配置為基于所述三維形狀要素的顏色信息和三維位置信息來生成針對要繪制的虛擬物體的虛擬照明信息；以及

繪制部，其被配置為基于所述顯示裝置的位置、所述拍攝單元的拍攝方向和所述虛擬照明信息來在所述顯示單元上繪制所述虛擬物體。

2.根據權利要求1所述的系統，其中，所述虛擬照明信息生成部基于所述三維形狀要素的顏色信息和三維位置信息，來生成與用于容納要繪制的虛擬物體的虛擬多面體的各個面有關的虛擬照明信息作為針對要繪制的虛擬物體的虛擬照明信息。

3.根據權利要求1或2所述的系統，

其中，所述顯示裝置還包括位置姿勢傳感器，以及

其中，所述用戶環境確定部將所述位置姿勢傳感器所獲取到的所述顯示裝置的位置和所述拍攝單元的拍攝方向視為臨時用戶環境，從所述三維空間數據存儲部獲得所述拍攝單元在相對于所述臨時用戶環境的預定范圍內的位置和方向上能夠拍攝到的三維形狀要素，并且基于所獲得的三維形狀要素的顏色信息和三維位置信息以及所述真實空間的拍攝圖像來確定所述顯示裝置的位置和所述拍攝單元的拍攝方向。

4.根據權利要求1或2所述的系統，其中，所述三維形狀要素是包括基于預先獲得的位于所述預定真實空間中的真實物體的點云數據而創建的多邊形的網格。