[發(fā)明專利]基于圖像拼接的視頻拼接裝置及視頻拼接方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710245434.1
• 申請(qǐng)日: 2017-04-14
• 公開（公告）號(hào): CN108737743B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 汪浩源;王旭光;吳華強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院蘇州納米技術(shù)與納米仿生研究所
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262;H04N5/265
• 代理公司: 深圳市銘粵知識(shí)產(chǎn)權(quán)代理有限公司 44304
• 代理人: 孫偉峰

本發(fā)明提供一種基于圖像拼接的視頻拼接裝置及視頻拼接方法，基于圖像拼接的視頻拼接方法包括獲取待拼接的第一路視頻和第二路視頻；分別提取第一路視頻、第二路視頻的n幀圖像中每一幀圖像所對(duì)應(yīng)的特征點(diǎn)；依次根據(jù)第一路視頻的第i幀圖像的特征點(diǎn)和第二路視頻的第i幀圖像的特征點(diǎn)對(duì)第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進(jìn)行拼接，以獲得拼接后的視頻；對(duì)拼接后的視頻進(jìn)行顯示。本發(fā)明提出的基于圖像拼接的視頻拼接方法將兩路視頻的特征提取并行執(zhí)行，從而提高了拼接效率與拼接穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻圖像拼接技術(shù)領(lǐng)域，尤其涉及一種基于圖像拼接的視頻拼接裝置及視頻拼接方法。

背景技術(shù)

目前的視頻拼接技術(shù)主要應(yīng)用在交通行業(yè)的視頻實(shí)時(shí)監(jiān)控領(lǐng)域，研究也主要集中在攝像機(jī)位置相對(duì)固定、攝像機(jī)擺放位置貼近體面的交通監(jiān)控視頻的拼接上。但其實(shí)隨著計(jì)算機(jī)視覺領(lǐng)域，如VR，360度全景攝像頭等的發(fā)展，視頻拼接技術(shù)的應(yīng)用領(lǐng)域逐漸擴(kuò)展到軍事偵查領(lǐng)域，民用消費(fèi)娛樂領(lǐng)域如影視、游戲等。拼接算法相對(duì)比較成熟的是對(duì)靜態(tài)圖像的拼接。

目前，很多監(jiān)控場(chǎng)合需要遠(yuǎn)距離，無遮擋監(jiān)控，如機(jī)場(chǎng)停機(jī)坪、高速公路，此時(shí)需要的是廣角、大視野、高分辨率、變形小的全景圖像。而飛行器搭載攝像機(jī)拍攝的視頻正滿足無遮擋，視野廣。并且與地面端的監(jiān)控?cái)z像機(jī)不同，提供了一個(gè)完全不同的俯瞰視角。特別是近年來發(fā)展迅速的無人機(jī)，機(jī)動(dòng)性強(qiáng)，靈活性高，可隨時(shí)改變監(jiān)控區(qū)域，適合各種突發(fā)情況的調(diào)用，并且設(shè)備模塊化，組裝、使用方便，大大減少了成本。對(duì)于高清視頻拼接技術(shù)，瓶頸主要在處理速度上，關(guān)于視頻拼接算法原理和方法國內(nèi)外已有不少的論文發(fā)表，但現(xiàn)在還沒有通用的能夠到達(dá)實(shí)時(shí)處理速度的高分辨率視頻拼接軟件及產(chǎn)品出現(xiàn)。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提出一種基于圖像拼接的視頻拼接裝置及視頻拼接方法，能夠改善拼接質(zhì)量，提升拼接效率。

本發(fā)明提出的具體技術(shù)方案為：提供一種基于圖像拼接的視頻拼接方法，所述視頻拼接方法包括：獲取待拼接的第一路視頻和第二路視頻；分別提取第一路視頻、第二路視頻的n幀圖像中每一幀圖像所對(duì)應(yīng)的特征點(diǎn)；依次根據(jù)第一路視頻的第i幀圖像的特征點(diǎn)和第二路視頻的第i幀圖像的特征點(diǎn)對(duì)第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進(jìn)行拼接，以獲得拼接后的視頻；對(duì)拼接后的視頻進(jìn)行顯示，其中，1≤i≤n。

進(jìn)一步地，根據(jù)第一路視頻的第i幀圖像的特征點(diǎn)和第二路視頻的第i幀圖像的特征點(diǎn)對(duì)第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進(jìn)行拼接步驟包括：

對(duì)第一路視頻的第i幀圖像的特征點(diǎn)和第二路視頻的第i幀圖像的特征點(diǎn)進(jìn)行粗匹配，以獲得初始的特征點(diǎn)匹配對(duì)集合；

對(duì)初始的特征點(diǎn)匹配對(duì)集合進(jìn)行細(xì)匹配得到內(nèi)點(diǎn)集合；

根據(jù)內(nèi)點(diǎn)集合計(jì)算得到變換矩陣；

利用變換矩陣將第一路視頻的第i幀圖像和第二路視頻的第i幀圖像分別投影到全景坐標(biāo)系中；

對(duì)全景坐標(biāo)系中的第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進(jìn)行融合，以獲得拼接后的圖像。

進(jìn)一步地，對(duì)第一路視頻的第i幀圖像的特征點(diǎn)和第二路視頻的第i幀圖像的特征點(diǎn)進(jìn)行粗匹配，以獲得初始的特征點(diǎn)匹配對(duì)集合步驟包括：

利用最近鄰匹配法在第二路視頻的第i幀圖像中找到與第一路視頻的第i幀圖像中的特征點(diǎn)P所匹配的特征點(diǎn)P'；

計(jì)算第一路視頻的第i幀圖像中的特征點(diǎn)M到特征點(diǎn)P的距離，將距離小于設(shè)定的第一閾值的特征點(diǎn)M形成的集合作為特征點(diǎn)P的鄰域；

將第二路視頻的第i幀圖像中以特征點(diǎn)P'為圓心，以第一閾值為半徑的區(qū)域作為特征點(diǎn)M的搜索區(qū)域，計(jì)算鄰域中的每一個(gè)特征點(diǎn)M與搜索區(qū)域中的所有特征點(diǎn)M'的距離，將搜索區(qū)域中與特征點(diǎn)M的距離最短的特征點(diǎn)M'作為與特征點(diǎn)M匹配的特征點(diǎn)；