[發明專利]基于圖像拼接的視頻拼接裝置及視頻拼接方法

有效

• 申請號: 201710245434.1
• 申請日: 2017-04-14
• 公開（公告）號: CN108737743B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 汪浩源;王旭光;吳華強
• 申請（專利權）人: 中國科學院蘇州納米技術與納米仿生研究所
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265
• 代理公司: 深圳市銘粵知識產權代理有限公司 44304
• 代理人: 孫偉峰

1.一種基于圖像拼接的視頻拼接方法，其特征在于，包括：獲取待拼接的第一路視頻和第二路視頻；分別同時提取第一路視頻、第二路視頻的n幀圖像中每一幀圖像所對應的特征點；依次根據第一路視頻的第i幀圖像的特征點和第二路視頻的第i幀圖像的特征點對第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進行拼接，以獲得拼接后的視頻；對拼接后的視頻進行顯示，其中，1≤i≤n，根據第一路視頻的第i幀圖像的特征點和第二路視頻的第i幀圖像的特征點對第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進行拼接步驟包括：

對第一路視頻的第i幀圖像的特征點和第二路視頻的第i幀圖像的特征點進行粗匹配，以獲得初始的特征點匹配對集合；

對初始的特征點匹配對集合進行細匹配得到內點集合；

根據內點集合計算得到變換矩陣；

利用變換矩陣將第一路視頻的第i幀圖像和第二路視頻的第i幀圖像分別投影到全景坐標系中；

對全景坐標系中的第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進行融合，以獲得拼接后的圖像；

對初始的特征點匹配對集合進行細匹配得到內點集合步驟包括：

在初始的特征點匹配對集合中隨機選取4個特征點匹配對；

計算4個特征點匹配對所對應的單應性矩陣；

計算初始的特征點匹配對集合中每一個特征點匹配對與單應性矩陣的投影誤差，將投影誤差小于設定的第二閾值的特征點匹配對形成的集合作為單應性矩陣的內點集合，其中，計算初始的特征點匹配對集合中每一個特征點匹配對與單應性矩陣的投影誤差的公式為：

其中，(x_i,y_i)表示特征點匹配對中位于第一路視頻的第i幀圖像中的像素點的坐標，(x'_i,y_i')表示特征點匹配對中位于第二路視頻的第i幀圖像中的像素點的坐標，n表示初始的特征點匹配對集合中特征點匹配對的數目，表示單應性矩陣；

重復上面的步驟N次，以獲得N個內點集合；

根據內點集合計算得到變換矩陣步驟包括：

分別計算每個內點集合中像素點在x方向的標準方差δ_x及y方向的標準方差δ_y；

根據下面公式計算每個內點集合所對應的評分系數s_i：

s_i＝n_iσ_xσ_y

其中，n_i表示第i個內點集合中特征點匹配對的數目，i為整數，1≤i≤N；

將評分系數s_i最高的內點集合所對應的單應性矩陣作為變換矩陣；

在分別同時提取第一路視頻、第二路視頻的n幀圖像中每一幀圖像所對應的特征點之后，依次將第一路視頻、第二路視頻的預定幀圖像及第一路視頻、第二路視頻的預定幀圖像中每一幀圖像所對應的特征點存儲于緩沖單元中；

在依次根據第一路視頻的第i幀圖像的特征點和第二路視頻的第i幀圖像的特征點對第一路視頻的第i幀圖像和第二路視頻的第i幀圖像進行拼接，以獲得拼接后的視頻之前，從緩沖單元中依次讀取第一路視頻、第二路視頻的預定幀圖像及第一路視頻、第二路視頻的預定幀圖像中每一幀圖像所對應的特征點。

2.根據權利要求1所述的視頻拼接方法，其特征在于，對第一路視頻的第i幀圖像的特征點和第二路視頻的第i幀圖像的特征點進行粗匹配，以獲得初始的特征點匹配對集合步驟包括：

利用最近鄰匹配法在第二路視頻的第i幀圖像中找到與第一路視頻的第i幀圖像中的特征點P所匹配的特征點P'；

計算第一路視頻的第i幀圖像中的特征點M到特征點P的距離，將距離小于設定的第一閾值的特征點M形成的集合作為特征點P的鄰域；

將第二路視頻的第i幀圖像中以特征點P'為圓心，以第一閾值為半徑的區域作為特征點M的搜索區域，計算鄰域中的每一個特征點M與搜索區域中的所有特征點M'的距離，將搜索區域中與特征點M的距離最短的特征點M'作為與特征點M匹配的特征點；

重復上面的步驟直至在第二路視頻的第i幀圖像中找到第一路視頻的第i幀圖像中所有特征點所匹配的特征點，以獲得初始的特征點匹配對集合。