[發(fā)明專利]一種多源視頻拼接方法及裝置

有效

• 申請?zhí)枺?/td>: 202110971199.2
• 申請日: 2021-08-23
• 公開（公告）號(hào): CN113709388B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 衛(wèi)保國;劉金瑋;周家明;李立欣;李旭;蔡明治
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): H04N5/265
• 分類號(hào): H04N5/265;H04N5/232
• 代理公司: 西安維賽恩專利代理事務(wù)所(普通合伙) 61257
• 代理人: 李明全

本發(fā)明公開了一種多源視頻拼接方法及裝置，將多源視頻均分解為若干幀圖像，將對應(yīng)的幀圖像分別進(jìn)行拼接得到觀察者成像面，根據(jù)觀察者成像面生成觀察者視頻；本發(fā)明通過將視頻分為多幀圖像，并對每幀圖像分別進(jìn)行拼接，在拼接過程中，通過觀察角度轉(zhuǎn)換觀察者成像面中的像素點(diǎn)坐標(biāo)，再使用該像素點(diǎn)計(jì)算與每個(gè)攝像機(jī)成像面的交點(diǎn)，通過該交點(diǎn)的像素值生成觀察者成像面中像素點(diǎn)的像素值，可以提高視頻源中圖像拼接速度，提升視頻拼接效率。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，尤其涉及一種多源視頻拼接方法及裝置。

背景技術(shù)

分布式孔徑傳感器系統(tǒng)(Distributed Aperture Sensor，DAS)最早源于一項(xiàng)研究用于戰(zhàn)機(jī)的分布式孔徑紅外傳感器系統(tǒng)(DAIRS)的項(xiàng)目，其中首次提到基于DAS系統(tǒng)的多源圖像拼接問題。之后，隨著信息技術(shù)的發(fā)展，該技術(shù)也逐漸推廣到民用領(lǐng)域，目前廣義的DAS系統(tǒng)是指分布在飛機(jī)，船舶和汽車等運(yùn)輸設(shè)備上的光電傳感系統(tǒng)。

視頻拼接技術(shù)是將視頻轉(zhuǎn)換為圖像，圖像拼接是圖像處理領(lǐng)域較為綜合的技術(shù)，目的是將兩幅或兩幅以上部分重疊的圖片合成為一個(gè)整體。圖像配準(zhǔn)是根據(jù)圖像的幾何空間模型，將其“對齊”到相同的空間坐標(biāo)系下。狹義的配準(zhǔn)是指具有重疊區(qū)域的相鄰圖像的配準(zhǔn)，而廣義的圖像配準(zhǔn)指多源、多幅圖像的配準(zhǔn)，所以對于多圖像配準(zhǔn)問題，一般先進(jìn)行狹義的局部配準(zhǔn)，確定具備一定重疊區(qū)域的相鄰圖像所在二維平面之間的空間映射矩陣，然后對所有圖像進(jìn)行全局配準(zhǔn)，盡量減少多幅圖像配準(zhǔn)時(shí)產(chǎn)生的誤差。圖像配準(zhǔn)階段完成后可進(jìn)行待拼接圖像的組合，圖像組合主要使用單應(yīng)性矩陣將待拼接圖像進(jìn)行組合，并通過一定的后處理操作降低像素失真，使得最終的拼接圖像主觀性能更好。

但是，當(dāng)視頻中環(huán)境比較復(fù)雜，如在林區(qū)中，樹木樹葉特別所，就造成了特征點(diǎn)非常密集，且相似度高，常規(guī)的圖像拼接方法進(jìn)行圖像拼接時(shí)，將會(huì)耗費(fèi)大量的時(shí)間，難以做到視頻的實(shí)時(shí)輸出，造成視頻拼接效率低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種多源視頻拼接方法及裝置，基于DAS系統(tǒng)采集的視頻源進(jìn)行拼接，提高視頻源中圖像拼接速度，提升視頻拼接效率。

本發(fā)明采用以下技術(shù)方案：一種多源視頻拼接方法，將多源視頻均分解為若干幀圖像，將對應(yīng)的幀圖像分別進(jìn)行拼接得到觀察者成像面，根據(jù)觀察者成像面生成觀察者視頻；其中，將對應(yīng)的幀圖像分別進(jìn)行拼接包括以下步驟：

獲取觀察者成像面在DAS圖像采集系統(tǒng)的三維坐標(biāo)系內(nèi)的觀察角度；

根據(jù)觀察角度確定觀察者成像面上的第一像素點(diǎn)；

根據(jù)DAS圖像采集系統(tǒng)的視點(diǎn)和第一像素點(diǎn)，確定DAS圖像采集系統(tǒng)中攝像機(jī)成像面上與第一像素點(diǎn)對應(yīng)的至少一個(gè)第二像素點(diǎn)；

根據(jù)至少一個(gè)第二像素點(diǎn)的像素值生成第一像素點(diǎn)的像素值；

根據(jù)每個(gè)第一像素點(diǎn)的像素值生成觀察者成像面。

進(jìn)一步地，根據(jù)觀察角度計(jì)算確定觀察者成像面上的第一像素點(diǎn)包括：

確定基準(zhǔn)攝像機(jī)成像面上的像素點(diǎn)p(x，y)，(x，y)為基準(zhǔn)攝像機(jī)成像面上像素點(diǎn)p的坐標(biāo)；

以像素點(diǎn)p的坐標(biāo)為輸入值，使用成第一像素點(diǎn)的坐標(biāo)(x_p，y_p，z_p)；

其中，θ為觀察角度中的水平旋轉(zhuǎn)角，為觀察角度中的垂直俯仰角，d為觀察者成像面與視點(diǎn)之間的距離。

進(jìn)一步地，確定DAS圖像采集系統(tǒng)中攝像機(jī)成像面上與第一像素點(diǎn)對應(yīng)的至少一個(gè)第二像素點(diǎn)包括：

根據(jù)第一像素點(diǎn)在x軸、y軸和z軸上坐標(biāo)值的正負(fù)號(hào)選擇攝像機(jī)成像面；

計(jì)算選擇的攝像機(jī)成像面與第一射線/第一直線的交點(diǎn)坐標(biāo)；其中，第一射線/第一直線為視點(diǎn)與第一像素點(diǎn)形成的射線/直線；