[發明專利]一種遠距離雙目視頻拼接方法及系統

在審

• 申請號: 202110625647.3
• 申請日: 2021-06-04
• 公開（公告）號: CN113327198A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 黃炎;杜飛飛;鹿璇
• 申請（專利權）人: 武漢卓目科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/30;G06T7/80;G06K9/46
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 鄭飛

一種遠距離雙目視頻拼接方法及系統，方法包括：配準：輸入雙目視頻，讀取兩視頻的第一幀，作為配準模塊的輸入進行配準處理，獲得配準參數；視頻拼接：依次讀取兩視頻中對應的每一幀，基于所述配準參數依次對兩視頻中對應的每一幀進行拼接處理得到拼接結果；保存每一幀的拼接結果，將每一幀的拼接結果依次寫入最終的結果視頻中。本發明公開了一種遠距離雙目視頻拼接算法，采用單應估計和最優縫合線方法，實現雙攝像頭拍攝圖像的拼接，從而得到視覺效果良好的無縫拼接全景圖像。

技術領域

本發明屬于計算機視覺領域，具體涉及一種遠距離雙目視頻拼接方法及系統。

背景技術

近年來，隨著攝像技術的發展以及攝像機配置成本的下降，越來越多的領域開始使用攝像頭監控來代替人眼觀察。如安全防護領域的防盜監控、車載攝像頭輔助駕駛人員后視以及應用更為廣泛的無人機領域。在無人機上架設攝像頭可以實現多種情況下的數據采集，而這些情況往往是不適合工作人員直接處理的，比如高空作業、極端天氣等情況，攝像頭的使用可以大大減少人力物力的消耗。

而由于單個攝像頭的視角有限，在實際應用中，單個攝像頭進行拍攝往往不能滿足需要。通常使用多個攝像頭同時拍攝，以提供更大范圍的視野，甚至可以得到360度的全景視野。而雙攝像頭的應用，即雙目攝像，在實際應用中較為常見。

理想情況下攝像頭安裝位置是共光心的。在這種情況下，只要簡單地將多個攝像頭拍攝的圖像按序排列即可，而且視覺效果與單個攝像頭拍攝無異。而多個攝像頭絕對共光心是無法實現的，只能近似地達到共光心效果，這就要求多個攝像頭的拍攝位置相近。而實際應用中，攝像頭之間的距離往往較遠，比如飛機的機翼兩端各安裝一個攝像頭。這時就必須使用圖像拼接算法來得到較好的最終結果。多攝像頭拍攝雖然能提供更廣泛的視野，但若只是簡單地將兩路拍攝圖像拼合在一起，則不能提供良好地視覺效果。為此，圖像拼接技術被提出用以將兩幅(或多幅)圖像無縫地拼接在一起，使得拼接結果就像單個廣角攝像頭拍攝的一樣，而且沒有廣角攝像頭的圖像畸變問題，因此可以提供較好的視覺效果，方便觀察。由此可見，圖像拼接技術將長期處于計算機視覺領域的研究熱點和進一步發展的重要方向。

為實現圖像拼接，需根據攝像原理設計圖像拼接算法。而圖像拼接算法的設計直接決定了最終輸出結果的視覺效果。一般的圖像拼接算法往往只針對最簡單的拍攝情景，不能對復雜的情況做出調整，以至于拼接效果差強人意。而雙目攝像的拼接問題中，兩個攝像頭之間的距離對整個拼接流程有較大影響。對于間距較短的情況，一般的拼接算法就能滿足需要，得到幾乎無縫的拼接結果。而當實際情況不允許時，即兩個攝像頭之間的間距較大時，由于大視差問題的存在，一般的拼接算法往往就不能得到滿足需要的最終效果。

同時，圖像拼接算法應用于實際時，往往還需要考慮視頻拼接，而非簡單的，只考慮兩幅圖像間的拼接。若考慮視頻拼接，往往從兩個方面入手。其一，考慮一個視頻的多張連續幀之間的關系，不僅從橫向上考慮多個視頻輸入源之間的空間關系，同時也要從縱向上考慮單個視頻輸入源的幀序列之間的時間關系。其二，為簡化算法復雜度，忽略以上提到的時間關系，單單考慮多視頻輸入源之間的關系，然后簡單的將拼接結果合成為幀序列，形成最終的結果視頻。第一種考慮雖然能在視頻拼接流程中考慮更多的輸入信息，因此也能得到更好的輸出效果，但因其算法復雜度過高，在實際應用中并不符合需求。所以第二種考慮方式更加切合實際，也便于實現。

發明內容

鑒于現有技術中存在的技術缺陷和技術弊端，本發明實施例提供克服上述問題或者至少部分地解決上述問題的一種遠距離雙目視頻拼接方法及系統，具體方案如下：

作為本發明的第一方面，提供一種遠距離雙目視頻拼接方法，所述方法包括：

步驟1，配準：輸入雙目視頻，讀取兩視頻的第一幀，作為配準模塊的輸入進行配準處理，獲得配準參數，其中，所述配準參數包括投影變換后圖像的左上角坐標、投影變換后圖像的尺寸、投影變換的坐標映射矩陣、曝光補償系數以及融合權重等；