[發(fā)明專利]一種視頻注冊方法及裝置

在審

• 申請?zhí)枺?/td>: 201911367584.5
• 申請日: 2019-12-26
• 公開（公告）號(hào): CN111145268A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 韓宇韜;呂琪菲;張至怡;陳銀;楊佳龍;陳爽;黨建波;楊松江
• 申請（專利權(quán)）人: 四川航天神坤科技有限公司
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T19/00
• 代理公司: 成都市集智匯華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51237
• 代理人: 羅艷

本申請公開了一種視頻注冊方法及裝置，基于線性模型對相機(jī)進(jìn)行標(biāo)定，求解相機(jī)的內(nèi)方位元素估計(jì)值和外方位元素估計(jì)值；基于非線性模型對內(nèi)方位元素估計(jì)值和外方位元素估計(jì)值進(jìn)行迭代優(yōu)化，獲取用于進(jìn)行視頻注冊的內(nèi)方位元素參數(shù)和外方位元素參數(shù)。本申請?zhí)峁┑囊曨l注冊方法及裝置，基于線性模型對相機(jī)進(jìn)行標(biāo)定，結(jié)合非線性模型對相機(jī)標(biāo)定得到的相機(jī)參數(shù)進(jìn)行迭代優(yōu)化，在進(jìn)行視頻注冊時(shí)采用迭代優(yōu)化后的內(nèi)方位元素參數(shù)和外方位元素參數(shù)，可以減小由于光學(xué)畸變造成的相機(jī)標(biāo)定誤差，從而可以提升相機(jī)標(biāo)定以及視頻注冊的精度。

技術(shù)領(lǐng)域

本申請涉及視頻注冊技術(shù)領(lǐng)域，特別涉及一種視頻注冊方法及裝置。

背景技術(shù)

將真實(shí)相機(jī)拍攝的視頻影像注冊到虛擬三維場景中以增強(qiáng)虛擬三維場景的真實(shí)感,被稱為視頻注冊。視頻注冊時(shí)，要在虛擬三維場景中添加一個(gè)與真實(shí)相機(jī)相對應(yīng)的虛擬相機(jī)，需要獲得該真實(shí)相機(jī)的內(nèi)方位元素和外方位元素等相機(jī)參數(shù)，求解這些用于進(jìn)行視頻注冊的相機(jī)參數(shù)的過程，在計(jì)算機(jī)視覺和攝影測量學(xué)領(lǐng)域被稱為相機(jī)標(biāo)定。

在計(jì)算機(jī)視覺和攝影測量學(xué)領(lǐng)域，進(jìn)行相機(jī)標(biāo)定時(shí)，理論上通常用到的相機(jī)的線性模型是針孔模型，它是一種理想的成像模型，它遵循的是小孔成像原理，即假設(shè)物體表面的反射光都經(jīng)過一個(gè)針孔投射到相機(jī)平面上。在線性模型下，相機(jī)參數(shù)可以通過求解線性方程的方式得到，因此，基于線性模型的相機(jī)標(biāo)定方法具有計(jì)算簡單、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)。

但是，由于透鏡加工和安裝等多方面因素的影響，空間物點(diǎn)在相機(jī)成像平面上實(shí)際所成的像點(diǎn)與理想成像之間存在有透鏡畸變等非線性的光學(xué)畸變，實(shí)際的光學(xué)系統(tǒng)并不能精確的遵循理想化的小孔成像原理，因此相機(jī)的線性模型并不能準(zhǔn)確地描述相機(jī)的成像幾何關(guān)系，導(dǎo)致基于線性模型的相機(jī)標(biāo)定的精度比較低，進(jìn)而導(dǎo)致視頻注冊的精度也比較低。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提供一種視頻注冊方法及裝置，以提升相機(jī)標(biāo)定的精度，進(jìn)而提升視頻注冊的精度。

基于上述目的，本申請?zhí)峁┑募夹g(shù)方案如下：

一種視頻注冊方法，包括：

基于線性模型對相機(jī)進(jìn)行標(biāo)定，求解相機(jī)的內(nèi)方位元素估計(jì)值和外方位元素估計(jì)值；

基于非線性模型對所述內(nèi)方位元素估計(jì)值和所述外方位元素估計(jì)值進(jìn)行迭代優(yōu)化，獲取用于進(jìn)行視頻注冊的內(nèi)方位元素參數(shù)和外方位元素參數(shù)。

優(yōu)選地，所述基于線性模型對相機(jī)進(jìn)行標(biāo)定，求解相機(jī)的內(nèi)方位元素估計(jì)值和外方位元素估計(jì)值，包括：

確定相機(jī)的二維視頻圖像中的二維控制點(diǎn)集合，并確定三維虛擬場景中的三維控制點(diǎn)集合；所述二維控制點(diǎn)集合中包括多個(gè)二維特征點(diǎn)，所述三維控制點(diǎn)集合中包括每個(gè)所述二維特征點(diǎn)在所述三維虛擬場景中的投影點(diǎn)；

根據(jù)所述二維控制點(diǎn)集合和所述三維控制點(diǎn)集合，線性求解所述相機(jī)的透視投影矩陣；

對所述透視投影矩陣進(jìn)行QR分解，獲取所述內(nèi)方位元素估計(jì)值和所述外方位元素估計(jì)值。

優(yōu)選地，所述根據(jù)所述二維控制點(diǎn)集合和所述三維控制點(diǎn)集合，線性求解所述相機(jī)的透視投影矩陣，包括：

確定每個(gè)所述二維特征點(diǎn)在所述二維視頻圖像中的二維坐標(biāo)，并確定每個(gè)所述投影點(diǎn)在所述三維虛擬場景中的三維坐標(biāo)；

根據(jù)每個(gè)所述二維特征點(diǎn)的所述二維坐標(biāo)構(gòu)建二維控制點(diǎn)矩陣，并根據(jù)每個(gè)所述投影點(diǎn)的所述三維坐標(biāo)構(gòu)建三維控制點(diǎn)矩陣；

利用所述二維控制點(diǎn)矩陣、所述三維控制點(diǎn)矩陣以及所述二維控制點(diǎn)集合和三維控制點(diǎn)集合之間的透視投影關(guān)系，線性求解所述相機(jī)的所述透視投影矩陣。

優(yōu)選地，所述基于非線性模型對所述內(nèi)方位元素估計(jì)值和所述外方位元素估計(jì)值進(jìn)行迭代優(yōu)化，獲取用于進(jìn)行視頻注冊的內(nèi)方位元素參數(shù)和外方位元素參數(shù)，包括：