[發(fā)明專(zhuān)利]一種遠(yuǎn)距離雙目視頻拼接方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110625647.3
• 申請(qǐng)日: 2021-06-04
• 公開(kāi)（公告）號(hào): CN113327198A
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 黃炎;杜飛飛;鹿璇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢卓目科技有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T7/30;G06T7/80;G06K9/46
• 代理公司: 北京匯澤知識(shí)產(chǎn)權(quán)代理有限公司 11228
• 代理人: 鄭飛

1.一種遠(yuǎn)距離雙目視頻拼接方法，其特征在于，所述方法包括：

步驟1，配準(zhǔn)：輸入雙目視頻，讀取兩視頻的第一幀，作為配準(zhǔn)模塊的輸入進(jìn)行配準(zhǔn)處理，獲得配準(zhǔn)參數(shù)；

步驟2，視頻拼接：依次讀取兩視頻中對(duì)應(yīng)的每一幀，基于所述配準(zhǔn)參數(shù)依次對(duì)兩視頻中對(duì)應(yīng)的每一幀進(jìn)行拼接處理得到拼接結(jié)果；

步驟3，保存每一幀的拼接結(jié)果，將每一幀的拼接結(jié)果依次寫(xiě)入最終的結(jié)果視頻中。

2.根據(jù)權(quán)利要求1所述的遠(yuǎn)距離雙目視頻拼接方法，其特征在于，

步驟1中還包括：配準(zhǔn)處理后，獲取第一幀配準(zhǔn)后的拼接結(jié)果尺寸，將結(jié)果視頻的尺寸設(shè)定為第一幀的拼接結(jié)果尺寸；步驟3中，在將每一幀的拼接結(jié)果依次寫(xiě)入最終的結(jié)果視頻時(shí)，將每一幀拼接結(jié)果的尺寸設(shè)置為第一幀拼接結(jié)果的尺寸，從而使每一幀拼接結(jié)果的尺寸相同。

3.根據(jù)權(quán)利要求1所述的遠(yuǎn)距離雙目視頻拼接方法，其特征在于，步驟2還包括：設(shè)置計(jì)數(shù)器，設(shè)置計(jì)數(shù)閾值，并置計(jì)數(shù)初始值，每拼接完一幀后對(duì)計(jì)數(shù)器值進(jìn)行加或減1，并判斷計(jì)數(shù)值是否達(dá)到計(jì)數(shù)閾值；

若計(jì)數(shù)值未達(dá)到計(jì)數(shù)閾值，則繼續(xù)進(jìn)行下一幀的拼接；

若計(jì)數(shù)值達(dá)到計(jì)數(shù)閾值，則重置計(jì)數(shù)器值至初始值，并通過(guò)步驟1的方法對(duì)下一幀進(jìn)行再配準(zhǔn)，獲取新的配準(zhǔn)參數(shù)，并通過(guò)新的配準(zhǔn)參數(shù)對(duì)后續(xù)幀進(jìn)行拼接處理。

4.根據(jù)權(quán)利要求1所述的遠(yuǎn)距離雙目視頻拼接方法，其特征在于，通過(guò)配準(zhǔn)模塊的對(duì)輸入圖像進(jìn)行配準(zhǔn)具體包括：

步驟1.1，令雙目攝像得到兩個(gè)視頻中，左側(cè)視頻為left-video，右側(cè)視頻為right-video，首先將所有的配準(zhǔn)參數(shù)清空，然后分別讀入left-video一幀圖像和right-video對(duì)應(yīng)的一幀圖像，作為輸入圖像，其中l(wèi)eft-video一幀圖像為左圖像，right-video的一幀圖像為右圖像；

步驟1.2，創(chuàng)建特征提取器：根據(jù)特征類(lèi)型，創(chuàng)建特征提取器，之后根據(jù)預(yù)設(shè)比例參數(shù)縮放輸入圖像，減小輸入圖像的尺寸，以此加快特征提取的速度，特征提取完成后將提取到的特征點(diǎn)的位置信息和特征信息保存，最后恢復(fù)輸入圖像尺寸；

步驟1.3，匹配特征點(diǎn)：根據(jù)預(yù)設(shè)參數(shù)，設(shè)定匹配閾值,按照該閾值對(duì)輸入圖像進(jìn)行特征點(diǎn)的匹配和選取，當(dāng)匹配相似度超過(guò)該閾值時(shí)，保留該匹配點(diǎn)對(duì)，否則舍棄該匹配點(diǎn)對(duì)；

步驟1.4，配準(zhǔn)，即相機(jī)標(biāo)定，根據(jù)步驟3.3的匹配信息估計(jì)出(計(jì)算出)相機(jī)的內(nèi)外參數(shù)，具體包括：首先按照預(yù)設(shè)參數(shù)，選定基于單應(yīng)性的相機(jī)標(biāo)定方法，然后依據(jù)步驟3.3的匹配點(diǎn)對(duì)的坐標(biāo)信息估計(jì)相機(jī)的內(nèi)外參數(shù)，完成標(biāo)定，之后將左右圖像分別對(duì)應(yīng)的焦距focal1和focal2單獨(dú)取出，以focal1和focal2的中位數(shù)作為后續(xù)圖像縮放的參數(shù)，最后進(jìn)行水平波形校正，改變相機(jī)參數(shù)中的旋轉(zhuǎn)矩陣；

步驟1.5，圖像變形：根據(jù)預(yù)設(shè)參數(shù)，采用平面投影的方式進(jìn)行左右圖像變形，并采用步驟4得到的縮放參數(shù)縮放圖像，圖像變形完成之后，保留左右兩幀圖像變形后的位置和尺寸信息；

步驟1.6，根據(jù)預(yù)設(shè)參數(shù)創(chuàng)建分塊補(bǔ)償曝光補(bǔ)償器，之后將變形后的左右兩幀圖像以及左右兩幀圖像對(duì)應(yīng)的位置信息以及掩碼信息輸入曝光補(bǔ)償器，根據(jù)左右兩幀圖像的位置信息以及掩碼信息預(yù)先配置曝光補(bǔ)償器；

步驟1.7，尋找最優(yōu)縫合線：根據(jù)預(yù)設(shè)參數(shù)，創(chuàng)建動(dòng)態(tài)規(guī)劃縫合線估計(jì)器，之后對(duì)左右兩幀圖像尋找最優(yōu)縫合線，并將找到的縫合線以圖像掩碼的形式保存。

5.根據(jù)權(quán)利要求4所述的遠(yuǎn)距離雙目視頻拼接方法，其特征在于，步驟1.7中，使用單側(cè)特征點(diǎn)保留策略，具體包括：在尋找最優(yōu)縫合線之前，找到左或右圖像中的所有經(jīng)過(guò)匹配篩選的特征點(diǎn)，從特征點(diǎn)開(kāi)始，向左或右開(kāi)始，直至圖像邊緣，將沿途所有特征點(diǎn)對(duì)應(yīng)的像素點(diǎn)改為固定顏色，從而尋找最優(yōu)縫合線，即得到單幀拼接所需的所有配準(zhǔn)參數(shù)；

得到拼接所需的所有配準(zhǔn)參數(shù)之后，轉(zhuǎn)入幀拼接模塊，開(kāi)始步驟2所述的視頻拼接。