[發(fā)明專利]虛擬拍攝系統(tǒng)的校準(zhǔn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211716361.7
• 申請(qǐng)日: 2022-12-29
• 公開（公告）號(hào): CN116233392A
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 周志勇
• 申請(qǐng)（專利權(quán)）人: 北京元客視界科技有限公司
• 主分類號(hào): H04N13/246
• 分類號(hào): H04N13/246;G06T7/73;G06T7/80
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張娜

本申請(qǐng)涉及虛擬制片技術(shù)領(lǐng)域，特別涉及一種虛擬拍攝系統(tǒng)的校準(zhǔn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，方法包括：獲取虛擬拍攝系統(tǒng)的校準(zhǔn)載體的參數(shù)；根據(jù)參數(shù)設(shè)計(jì)攜帶有編碼信息的一個(gè)或多個(gè)校準(zhǔn)圖案；在校準(zhǔn)載體上顯示任意校準(zhǔn)圖案，利用校準(zhǔn)圖案的編碼信息對(duì)虛擬拍攝系統(tǒng)中各子系統(tǒng)進(jìn)行獨(dú)立校準(zhǔn)和/或聯(lián)合校準(zhǔn)。由此，解決了相關(guān)技術(shù)中虛擬拍攝系統(tǒng)中各子系統(tǒng)校準(zhǔn)標(biāo)準(zhǔn)統(tǒng)一，且需要人工校準(zhǔn)，導(dǎo)致校準(zhǔn)操作復(fù)雜、精度較低、一致性較差且可操作性差等問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及虛擬制片技術(shù)領(lǐng)域，特別涉及一種虛擬拍攝系統(tǒng)的校準(zhǔn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

XR(Extended?Reality，擴(kuò)展現(xiàn)實(shí))虛擬制片是一種新式的影視節(jié)目制作技術(shù)，以LED(Light?Emitting?Diode，發(fā)光二極管)顯示屏結(jié)合XR虛擬制作技術(shù)與傳統(tǒng)綠幕XR制片技術(shù)相比，以所見即所得的制片體驗(yàn)，為影視節(jié)目制作帶來更多的創(chuàng)新。

在XR虛擬拍攝應(yīng)用中，存在多種空間坐標(biāo)系統(tǒng)，主要包括用于攝像機(jī)運(yùn)動(dòng)捕捉的空間定位系統(tǒng)、攝像機(jī)成像系統(tǒng)、LED屏幕空間系統(tǒng)、VR(Virtual?Reality，虛擬現(xiàn)實(shí))虛擬空間系統(tǒng)，這些系統(tǒng)分別需要獨(dú)立校準(zhǔn)和聯(lián)合標(biāo)定。

相關(guān)技術(shù)通常通過以下方法進(jìn)行校準(zhǔn)，空間定位系統(tǒng)坐標(biāo)系與VR虛擬空間坐標(biāo)系系統(tǒng)校準(zhǔn)是通過人為測量計(jì)算系統(tǒng)原點(diǎn)偏移，坐標(biāo)軸向粗略對(duì)齊實(shí)現(xiàn)；對(duì)于攝像機(jī)成像系統(tǒng)，一般以棋盤格標(biāo)定板作為標(biāo)定裝置，采用張氏標(biāo)定法計(jì)算攝像機(jī)鏡頭內(nèi)參，以鏡頭文件形式設(shè)置到VR虛擬空間中的虛擬攝像機(jī)，達(dá)到虛擬攝像機(jī)成像與真實(shí)攝像機(jī)一致；對(duì)于LED屏幕空間校準(zhǔn)，VR虛擬空間中LED屏幕位姿是通過測量實(shí)拍場景中LED屏幕相對(duì)場景原點(diǎn)的位姿而確定。

但是，這些校準(zhǔn)方法操作過于繁雜，校準(zhǔn)過程中缺乏標(biāo)準(zhǔn)，往往導(dǎo)致聯(lián)合校準(zhǔn)后虛實(shí)系統(tǒng)偏差較大，并且LED屏幕空間校準(zhǔn)過程依賴人為測量因素，測量人員的專業(yè)性與行業(yè)經(jīng)驗(yàn)將影響該校準(zhǔn)結(jié)果精度，導(dǎo)致校準(zhǔn)精度較低，一致性較差。除此之外，現(xiàn)有校準(zhǔn)方法依賴較多的校準(zhǔn)工具，導(dǎo)致可操作性較差。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N虛擬拍攝系統(tǒng)的校準(zhǔn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)中虛擬拍攝系統(tǒng)中各子系統(tǒng)校準(zhǔn)標(biāo)準(zhǔn)統(tǒng)一，且需要人工校準(zhǔn)，導(dǎo)致校準(zhǔn)操作復(fù)雜、精度較低、一致性較差且可操作性差等問題。

本申請(qǐng)第一方面實(shí)施例提供一種虛擬拍攝系統(tǒng)的校準(zhǔn)方法，包括以下步驟：獲取虛擬拍攝系統(tǒng)的校準(zhǔn)載體的參數(shù)；根據(jù)所述參數(shù)設(shè)計(jì)攜帶有編碼信息的一個(gè)或多個(gè)校準(zhǔn)圖案；在所述校準(zhǔn)載體上顯示任意校準(zhǔn)圖案，利用所述校準(zhǔn)圖案的編碼信息對(duì)所述虛擬拍攝系統(tǒng)中各子系統(tǒng)進(jìn)行獨(dú)立校準(zhǔn)和/或聯(lián)合校準(zhǔn)。

可選地，所述參數(shù)包括顯示分辨率和顯示單元數(shù)量，所述根據(jù)所述參數(shù)設(shè)計(jì)攜帶有編碼信息的一個(gè)或多個(gè)校準(zhǔn)圖案，包括：根據(jù)所述顯示分辨率設(shè)計(jì)具有相同分辨率的圖案，并根據(jù)所述顯示單元數(shù)量設(shè)計(jì)編碼標(biāo)識(shí)，且每個(gè)顯示單元顯示的編碼標(biāo)識(shí)唯一。

可選地，所述虛擬拍攝系統(tǒng)中成像子系統(tǒng)包括一個(gè)或多個(gè)成像設(shè)備，所述利用所述校準(zhǔn)圖案的編碼信息對(duì)所述虛擬拍攝系統(tǒng)中各子系統(tǒng)進(jìn)行獨(dú)立校準(zhǔn)和/或聯(lián)合校準(zhǔn)，包括：獲取成像設(shè)備采集所述校準(zhǔn)圖案時(shí)的一個(gè)或多個(gè)圖像；提取每個(gè)圖像中一個(gè)或多個(gè)編碼標(biāo)識(shí)的二維特征點(diǎn)坐標(biāo)集，根據(jù)編碼標(biāo)識(shí)的位置關(guān)系和所述二維特征點(diǎn)坐標(biāo)集確定圖像之間對(duì)應(yīng)點(diǎn)集；利用所述圖像之間對(duì)應(yīng)點(diǎn)集計(jì)算編碼標(biāo)識(shí)的三維特征點(diǎn)坐標(biāo)，并對(duì)所述三維特征點(diǎn)坐標(biāo)進(jìn)行縮放，得到所述校準(zhǔn)圖案的空間點(diǎn)集，利用所述空間點(diǎn)集計(jì)算所述成像設(shè)備的校準(zhǔn)參數(shù)，利用所述校準(zhǔn)參數(shù)對(duì)所述成像設(shè)備進(jìn)行校準(zhǔn)。

可選地，所述校準(zhǔn)載體為所述虛擬拍攝系統(tǒng)中屏幕空間子系統(tǒng)的顯示屏幕，所述利用所述校準(zhǔn)圖案的編碼信息對(duì)所述虛擬拍攝系統(tǒng)中各子系統(tǒng)進(jìn)行獨(dú)立校準(zhǔn)和/或聯(lián)合校準(zhǔn)，包括：根據(jù)所述空間點(diǎn)集計(jì)算每個(gè)顯示單元的中心坐標(biāo)；根據(jù)所述每個(gè)顯示單元的中心坐標(biāo)計(jì)算所述顯示屏幕中所有顯示單元的空間位置和法向數(shù)據(jù)集；根據(jù)所述空間位置和所述法向數(shù)據(jù)集對(duì)每個(gè)顯示單元進(jìn)行面片建模，并根據(jù)相鄰面片點(diǎn)集計(jì)算顯示單元的面片交點(diǎn)，利用所述面片交點(diǎn)校準(zhǔn)所述顯示屏幕的數(shù)字模型。