[發明專利]用于視覺效果的方法、系統和裝置

在審

• 申請號: 201880013712.3
• 申請日: 2018-01-31
• 公開（公告）號: CN110383341A
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 安格斯·約翰·尼爾;法夫納·瑪爾·王;邁克爾·凱伊·曼赫;文森特·塞巴斯蒂安·貝特森;埃里克·雷諾-豪德
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T19/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

1.一種方法，包括：

從提供對象的視頻的第一相機接收第一視頻信號；

跟蹤所述對象以產生指示所述對象的移動的跟蹤信息；

接收包括視頻信息的第二視頻信號，所述視頻信息與來自安裝在所述對象上的相機陣列中所包括的多個相機中的相應相機的多個輸出信號的拼接相對應，其中，所述第二視頻信號捕獲所述對象上的反射和所述對象的照明環境中的至少一個；以及

處理所述第一視頻信號、所述跟蹤信息、和所述第二視頻信號以生成表示以下視頻的經渲染的信號，在該視頻中，被跟蹤的所述對象已經被實時地替換為具有被跟蹤的所述對象的所述反射和所述照明環境中的一個或多個的虛擬對象。

2.根據權利要求1所述的方法，其中，被跟蹤的所述對象可以包括一個或多個光源，所述一個或多個光源從被跟蹤的所述對象發射光以表示從所述虛擬對象發射的光的顏色、方向性、和強度中的一個或多個。

3.根據權利要求1或2所述的方法，其中，所述處理包括：實時地合并來自傳感器的信息，其中，來自所述傳感器的信息表示來自一個或多個源的反射和/或照明，用于產生包括所述虛擬對象的視覺效果。

4.根據權利要求3所述的方法，其中，所述處理還包括：將包括所述虛擬對象的視覺效果包括在電影、交互式體驗、增強現實制作、或混合現實制作中的一個或多個中。

5.根據權利要求3或4所述的方法，其中，來自所述傳感器的信息包括來自光傳感器和圖像傳感器中的至少一個的信息。

6.根據權利要求3至5中任一項所述的方法，其中，來自所述傳感器的信息包括來自一個或多個傳感器的信息，所述一個或多個傳感器在位置上與提供要增強的視頻饋送或圖像信息以產生增強現實內容的相機不同。

7.根據權利要求6所述的方法，其中，所述要增強的視頻饋送或圖像信息包括被提供給由用戶穿戴的可穿戴設備的視頻饋送或圖像信息，所述用戶的視覺在混合現實中被增強。

8.根據權利要求2至7中任一項所述的方法，還包括：使用來自所述傳感器的信息來計算在位置上與所述傳感器不同的一個或多個虛擬對象的照明圖和反射圖中的至少一個。

9.根據前述權利要求中任一項所述的方法，還包括：使用有線連接和無線連接中的至少一個來傳輸照明信息和反射信息中的至少一個。

10.根據前述權利要求中任一項所述的方法，還包括：使用經采樣的現實世界光源來實時地修改虛擬對象的照明。

11.根據前述權利要求中任一項所述的方法，其中，所述處理包括：響應于所述跟蹤信息而產生表示所述虛擬對象的放置的位置矩陣，以及響應于所述位置矩陣而生成包括所述虛擬對象的所述經渲染的信號。

12.根據前述權利要求中任一項所述的方法，其中，跟蹤所述對象包括：使用固定到被跟蹤的所述對象的一個或多個基準點中的至少一個基準點以及單獨且唯一的鏡頭校準圖表來校準所述第一相機的鏡頭。

13.根據前述權利要求中任一項所述的方法，其中，處理包括：處理經拼接的輸出信號以執行所述經渲染的信號中的基于圖像的照明。

14.一種非暫態計算機可讀介質，其存儲有可執行程序指令，使得計算機執行所述指令以執行根據權利要求1至13中任一項所述的方法。