[發明專利]視頻拼接方法及裝置

有效

• 申請號: 201811625266.X
• 申請日: 2018-12-28
• 公開（公告）號: CN111385490B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 吳華強;何青林;胡晨;王旭光
• 申請（專利權）人: 清華大學
• 主分類號: H04N5/265
• 分類號: H04N5/265
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

一種視頻拼接方法及裝置。該視頻拼接方法用于拼接第一視頻和第二視頻，包括：對第一視頻的第一目標幀和第二視頻的第二目標幀進行特征提取、特征匹配和篩選，獲得第一目標幀和第二目標幀的第一特征點對集；對第一目標幀和第二目標幀進行前向追蹤，獲得第一目標幀和第二目標幀的第二特征點對集；對第一目標幀和第二目標幀進行后向追蹤，獲得第一目標幀和第二目標幀的第三特征點對集；以及根據第一目標幀和第二目標幀的第一特征點對集、第二特征點對集以及第三特征點對集的并集，計算第一目標幀和第二目標幀之間的幾何變換關系。該視頻拼接方法結合特征匹配和雙向特征追蹤，提高了用于相機標定的特征點對的魯棒性，改進了相機標定的連續性和穩定性。

技術領域

本公開的實施例涉及一種視頻拼接方法及裝置。

背景技術

視頻拼接是計算機視覺領域中的一項重要的技術。視頻拼接的過程是將多個攝像機采集到的具有重疊區域的視頻圖像拼接合成到同一視面上，形成一個分辨率更高、視角更廣的全景視頻。與具有廣角鏡頭的全景攝像機相比，通過視頻拼接技術獲得全景視頻的成本更低，實用性更高。在實際生活中，視頻拼接技術已經運用到了安防監控、空中偵察、展示展覽、視覺娛樂等各個領域。

發明內容

本公開至少一實施例提供一種視頻拼接方法，用于拼接第一視頻和第二視頻，包括：對所述第一視頻的第一目標幀和所述第二視頻的第二目標幀分別進行特征提取，對從所述第一目標幀和所述第二目標幀中分別提取的特征進行特征匹配，并對匹配的特征進行篩選，獲得所述第一目標幀和所述第二目標幀的第一特征點對集；將所述第一目標幀和所述第二目標幀的前向特征點對集前向追蹤到所述第一目標幀和所述第二目標幀，獲得所述第一目標幀和所述第二目標幀的第二特征點對集；將所述第一目標幀和所述第二目標幀的后向特征點對集后向追蹤到所述第一目標幀和所述第二目標幀，獲得所述第一目標幀和所述第二目標幀的第三特征點對集；以及根據所述第一目標幀和所述第二目標幀的所述第一特征點對集、所述第二特征點對集以及所述第三特征點對集的并集，計算所述第一目標幀和所述第二目標幀之間的幾何變換關系。

例如，本公開一實施例提供的視頻拼接方法，還包括：將所述第一目標幀和所述第二目標幀的所述第一特征點對集與所述第二特征點對集的并集作為所述第一視頻的第一目標幀的后一幀和所述第二視頻的第二目標幀的后一幀的前向特征點對集。

例如，本公開一實施例提供的視頻拼接方法，還包括：若所述第一目標幀和所述第二目標幀為待拼接的初始幀，則不進行前向追蹤，根據所述第一目標幀和所述第二目標幀的所述第一特征點對集與所述第三特征點對集的并集，計算所述第一目標幀和所述第二目標幀之間的幾何變換關系，將所述第一目標幀和所述第二目標幀的第一特征點對集作為所述第一視頻的第一目標幀的后一幀和所述第二視頻的第二目標幀的后一幀的前向特征點對集。

例如，本公開一實施例提供的視頻拼接方法，還包括：若所述第一目標幀和所述第二目標幀之后的待拼接的視頻幀數小于后向追蹤目標幀數，則將所述第一視頻和所述第二視頻的待拼接的最終幀作為后向追蹤的起點幀。

例如，本公開一實施例提供的視頻拼接方法，還包括：若所述第一目標幀和所述第二目標幀為所述第一視頻和所述第二視頻的待拼接的某一幀的后向追蹤的起點幀，則將所述第一目標幀和所述第二目標幀的第一特征點對集作為所述第一視頻的第一目標幀的前一幀和所述第二視頻的第二目標幀的前一幀的后向特征點對集；若所述第一目標幀和所述第二目標幀為所述第一視頻和所述第二視頻的待拼接的某一幀的后向追蹤的中間幀，則將所述第一目標幀和所述第二目標幀的所述第一特征點對集與所述第三特征點對集的并集作為所述第一視頻的第一目標幀的前一幀和所述第二視頻的第二目標幀的前一幀的后向特征點對集。

例如，本公開一實施例提供的視頻拼接方法，還包括：若所述第一目標幀和所述第二目標幀為待拼接的最終幀，則不進行后向追蹤，根據所述第一目標幀和所述第二目標幀的所述第一特征點對集與所述第二特征點對集的并集，計算所述第一目標幀和所述第二目標幀之間的幾何變換關系。

例如，在本公開一實施例提供的視頻拼接方法中，所述后向追蹤目標幀數為1-20幀。