[發明專利]一種用于劇本殺環境的投影系統及方法

在審

• 申請號: 202111043377.1
• 申請日: 2021-09-07
• 公開（公告）號: CN113784109A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 葉曉青;馮兵;朱登明;朱正剛
• 申請（專利權）人: 太倉中科信息技術研究院
• 主分類號: H04N13/204
• 分類號: H04N13/204;H04N13/363
• 代理公司: 蘇州見山知識產權代理事務所(特殊普通合伙) 32421
• 代理人: 胡益萍

1.一種用于劇本殺環境的沉浸式投影方法，其特征在于，所述用于劇本殺環境的沉浸式投影方法包括：

步驟S1：投影模塊將結構光圖像信息投影至真實環境中；

步驟S2：圖像采集模塊采集經過步驟S1投射有結構光圖像信息的真實環境圖像，并將所述圖像傳輸至處理模塊；

步驟S3：處理模塊獲取若干幅投射有結構光圖像信息的真實環境圖像，采用三維重建算法重建出三維模型信息，并將所述三維模型信息傳輸至渲染模塊；

步驟S4：人物動作感知模塊實時采集人物的三維點云數據和圖像數據，并將所述三維點云數據和圖像數據傳輸至處理模塊；

步驟S5：處理模塊基于所述三維點云數據和圖像數據，判斷所述人物的動作類型或/和所述人物的位置信息，并將所述人物的動作類型或/和所述人物的位置信息轉換成紋理數據，將所述紋理數據傳輸至渲染模塊；

步驟S6：渲染模塊根據所述三維模型信息和所述紋理數據，采用UV貼圖方式，將所述紋理數據投射至所述三維模型上；再通過渲染模塊中的虛擬相機渲染出最終圖像，將所述最終圖像傳輸至投影模塊；

步驟S7：投影模塊采用投影方式將所述最終圖像投影至真實環境中。

2.根據權利要求1所述的一種用于劇本殺環境的沉浸式投影方法，其特征在于，在步驟S1中，所述結構光圖像由處理模塊通過圖像接口傳輸至所述投影模塊的。

3.根據權利要求1所述的一種用于劇本殺環境的沉浸式投影方法，其特征在于，在步驟S6還包括，處理模塊采用標定校準方式計算出所述的投影參數，并將所述投影參數傳輸至投影模塊。

4.根據權利要求3所述的一種用于劇本殺環境的沉浸式投影方法，其特征在于，所述步驟S7為投影模塊結合所述投影參數采用投影方式將所述最終圖像投影至真實環境中。

5.根據權利要求1所述的一種用于劇本殺環境的沉浸式投影方法，其特征在于，在步驟S2中，所述處理模塊完成所述圖像采集模塊的參數配置和控制所述圖像采集模塊的圖像采集時機。

6.一種用于劇本殺環境的沉浸式投影系統，其特征在于，所述用于劇本殺環境的沉浸式投影系統包括：

投影模塊，用于將結構光圖像信息投影至真實環境中；

圖像采集模塊，與所述投影模塊連接，用于采集所述投影模塊的輸出圖像，并將所述圖像傳輸至處理模塊；

人物動作感知模塊，與處理模塊連接，用于實時采集人物的三維點云數據和圖像數據，并將所述三維點云數據和圖像數據傳輸至處理模塊；

處理模塊，用于根據所述圖像采集模塊所獲得的圖像構建三維模型信息，用于基于三維點云數據和圖像數據、判斷所述人物的動作類型或/和所述人物的位置信息，并將所述人物的動作類型或/和所述人物的位置信息轉換成渲染模塊可用的紋理數據；

渲染模塊，與處理模塊連接，用于根據處理模塊輸出的三維模型信息和所述紋理數據，采用UV貼圖方式，將所述紋理數據投射至所述三維模型上；再通過渲染模塊中的虛擬相機渲染出最終圖像；渲染模塊與投影模塊連接，投影模塊采用投影方式將所述最終圖像投影至真實環境中。

7.根據權利要求6所述的一種用于劇本殺環境的沉浸式投影系統，其特征在于，所述圖像采集模塊與所述處理模塊通過通訊接口連接，所述人物動作感知模塊與所述處理模塊通過通訊接口連接，所述處理模塊與所述渲染模塊通過內存交互連接，所述渲染模塊與所述投影模塊通過圖像接口連接。

8.根據權利要求6所述的一種用于劇本殺環境的沉浸式投影系統，其特征在于，所述人物動作感知模塊為三維相機、雷達或TOF設備任意一種。

9.根據權利要求6所述的一種用于劇本殺環境的沉浸式投影系統，其特征在于，所述投影模塊包括多臺攝影設備，所述多臺攝影設備分別布置于真實環境中的中間位置和東、南、西、北的四個方位。

10.根據權利要求9所述的一種用于劇本殺環境的沉浸式投影系統，其特征在于，所述投影模塊包括位于真實環境中的頂部的投影支架組件，所述多臺攝影設備設置于所述投影支架組件上。