[發(fā)明專利]一種實(shí)時(shí)虛擬場(chǎng)景LED拍攝系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010934566.7
• 申請(qǐng)日: 2020-09-08
• 公開(kāi)（公告）號(hào): CN112040092B
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 陳奕;朱驥明;劉錦鵬;杜巧枝
• 申請(qǐng)（專利權(quán)）人: 杭州時(shí)光坐標(biāo)影視傳媒股份有限公司
• 主分類號(hào): H04N5/222
• 分類號(hào): H04N5/222;H04N5/262
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

本發(fā)明公開(kāi)了一種實(shí)時(shí)虛擬場(chǎng)景LED拍攝系統(tǒng)及方法，屬于影視拍攝領(lǐng)域。本發(fā)明根據(jù)拍攝場(chǎng)景所需呈現(xiàn)的內(nèi)容，調(diào)取數(shù)字資產(chǎn)構(gòu)建虛擬場(chǎng)景，在虛擬引擎模塊中重構(gòu)出虛擬LED屏幕和虛擬攝像機(jī)，采攝影棚內(nèi)真實(shí)環(huán)境光照信息實(shí)時(shí)同步至虛擬引擎內(nèi)，通過(guò)虛擬引擎模塊對(duì)虛擬場(chǎng)景進(jìn)行分布式實(shí)時(shí)渲染并在虛擬LED屏幕呈現(xiàn)；虛擬引擎還在虛擬LED屏幕之外疊加虛擬引擎根據(jù)實(shí)時(shí)攝像機(jī)位置和鏡頭畸變信息實(shí)時(shí)渲染的帶有深度通道的畫面，物理LED屏幕顯示虛擬LED屏幕，實(shí)時(shí)攝像機(jī)完成拍攝，XR模塊獲取帶有深度通道的畫面和實(shí)時(shí)攝影機(jī)拍攝的畫面，合成得到最終的畫面。本發(fā)明可代替綠幕摳像在大部分環(huán)境下達(dá)到直接成片的效果，優(yōu)化了制片流程，節(jié)省了復(fù)雜視覺(jué)特效成本。

技術(shù)領(lǐng)域

本發(fā)明屬于影視劇拍攝領(lǐng)域，具體涉及一種實(shí)時(shí)虛擬場(chǎng)景LED拍攝系統(tǒng)及方法。

背景技術(shù)

目前許多的影視劇制作過(guò)程都及其復(fù)雜，制作時(shí)間表高度緊湊，其中不乏許多不確定環(huán)節(jié)。這個(gè)過(guò)程通常是線性的，在不斷改善以達(dá)到期望結(jié)果的過(guò)程中極具挑戰(zhàn)性并且代價(jià)高昂且資源分配不均勻。在現(xiàn)場(chǎng)拍攝過(guò)程中，由于視覺(jué)割裂，主創(chuàng)們所有與影視劇制作的相關(guān)專業(yè)知識(shí)可能無(wú)法充分利用。

在傳統(tǒng)綠幕式虛擬拍攝過(guò)程中，藝術(shù)家們制作出的數(shù)字資產(chǎn)既不具備最佳圖像質(zhì)量，也不具備實(shí)時(shí)可塑性，近年來(lái)影視劇制作價(jià)值日益凸升，制作復(fù)雜程度越來(lái)越高，制作成本高昂?，F(xiàn)有虛擬拍攝技術(shù)對(duì)綠幕摳像效果差、光照不匹配、畫面延遲高的缺點(diǎn)。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明提供了一種實(shí)時(shí)虛擬場(chǎng)景LED拍攝系統(tǒng)及方法，其可以促使影視劇制作過(guò)程更為迭代化、更具協(xié)作性和非線性。且可獲取更接近最終效果的圖像，達(dá)到所見(jiàn)即所得的效果，本發(fā)明的技術(shù)方案如下。

本發(fā)明一方面公開(kāi)了一種實(shí)時(shí)虛擬場(chǎng)景LED拍攝系統(tǒng)，其包括：

物理LED屏幕，其用于接收虛擬引擎模塊的輸出視頻流信號(hào)，并進(jìn)行顯示，

數(shù)字資產(chǎn)庫(kù)模塊，所述的數(shù)字資產(chǎn)庫(kù)模塊包括高真實(shí)三維素材庫(kù)和高質(zhì)量環(huán)幕素材庫(kù)，其中高真實(shí)三維素材庫(kù)內(nèi)存儲(chǔ)有素材的三維模型，所述的高質(zhì)量環(huán)幕素材庫(kù)內(nèi)存儲(chǔ)有用于作為視頻背景素材的環(huán)幕視頻；

實(shí)時(shí)攝影機(jī)，其用于拍攝現(xiàn)實(shí)場(chǎng)景的畫面；所述的實(shí)時(shí)攝影機(jī)連接有鏡頭數(shù)據(jù)傳感器，用于獲取焦距焦點(diǎn)信息，從而獲得鏡頭畸變信息并傳輸給虛擬引擎模塊；

實(shí)時(shí)攝影機(jī)跟蹤模塊，其捕捉現(xiàn)實(shí)攝影機(jī)的位置信息和運(yùn)動(dòng)數(shù)據(jù)并通過(guò)VRPN協(xié)議將捕捉的信息實(shí)時(shí)傳輸至虛擬引擎模塊中；

虛擬引擎模塊，其根據(jù)物理LED屏幕的形狀及特性在虛擬引擎模塊中重構(gòu)出虛擬LED屏幕，通過(guò)實(shí)時(shí)攝影機(jī)跟蹤模塊獲取的攝影機(jī)位置和運(yùn)動(dòng)數(shù)據(jù)構(gòu)建虛擬攝像機(jī)，并通過(guò)控制虛擬攝像機(jī)的運(yùn)動(dòng)以實(shí)時(shí)模擬真實(shí)攝影機(jī)的運(yùn)動(dòng)；其通過(guò)調(diào)取數(shù)字資產(chǎn)庫(kù)模塊中的三維模型和環(huán)幕視頻構(gòu)建虛擬場(chǎng)景，其獲取環(huán)境光采集系統(tǒng)模塊采集的真實(shí)環(huán)境光信息并實(shí)時(shí)同步，通過(guò)內(nèi)部的虛擬燈光單元模擬虛擬場(chǎng)景中模型的燈光照明，通過(guò)內(nèi)部的物理效果模擬單元模擬虛擬場(chǎng)景中模型的物理光學(xué)效果和物理特性效果；虛擬引擎模塊通過(guò)分布式實(shí)時(shí)渲染，并根據(jù)當(dāng)前虛擬攝像機(jī)的位置在虛擬LED屏幕上投射渲染畫面；虛擬引擎模塊將虛擬LED屏幕上的渲染畫面轉(zhuǎn)換成現(xiàn)實(shí)LED屏幕可用的視頻流信號(hào)進(jìn)行輸出；虛擬引擎模塊還根據(jù)實(shí)時(shí)攝影機(jī)跟蹤模塊得到的實(shí)時(shí)攝像機(jī)的位置和運(yùn)動(dòng)數(shù)據(jù)以及鏡頭數(shù)據(jù)傳感器得到的鏡頭畸變信息，在虛擬LED屏幕之外疊加虛擬引擎實(shí)時(shí)渲染的帶有深度通道的畫面，所述帶有深度通道的畫面輸出給XR模塊；

遠(yuǎn)程控制系統(tǒng)，其與虛擬引擎模塊遠(yuǎn)程連接，用于遠(yuǎn)程調(diào)控虛擬燈光單元和物理效果模擬單元的模擬效果。

外置燈光系統(tǒng)，其用于向拍攝場(chǎng)景提供燈光照明；

虛擬燈控臺(tái)模塊，其遠(yuǎn)距離控制外置燈光系統(tǒng),并對(duì)其顏色及亮度進(jìn)行實(shí)時(shí)調(diào)整；