[發明專利]一種視頻融合中基于行的硬件縫合方法

有效

• 申請號: 201410590937.9
• 申請日: 2014-10-29
• 公開（公告）號: CN104363384A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 范益波;黃磊磊;白宇峰;陸彥珩;曾曉洋
• 申請（專利權）人: 復旦大學
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;G06T3/40;G06T3/60
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

技術領域

本發明屬于數字視頻處理技術領域，具體涉及一種適用于視頻融合的基于行的硬件縫合方法。

背景技術

隨著電子多媒體的長足發展，人們對于寬屏乃至全景視頻的需求也越來越旺盛。不管是看電影、玩游戲、還是視頻會議、車載監控，人們都在追求更寬更大的視頻體驗。這種追求來源于寬屏全景能夠提供普通視頻所不能提供的沉浸式體驗。在沉浸式的體驗中，從情感上，人們能夠更為身臨其境地感受視頻的氛圍；從功能上，人們能夠從視頻中獲取更多的信息。

為了實現寬屏乃至全景，傳統的方法是利用廣角鏡頭進行拍攝。但這種方法會不可避免地引入至少以下三種問題。其一、由于拍攝范圍過大所導致的細節分辨率下降；其二、由于廣角鏡頭所引入的邊緣扭曲甚至畸形；其三、昂貴的鏡頭和攝像機費用。

作為廣角鏡頭的候選方法，視頻拼接慢慢地為人們所關注。該方向致力于從若干個分辨率較低的攝像頭中獲取源視頻，通過拼接處理，從而產生出一個分辨率較高的融合后視頻。由于每個攝像頭只用于拍攝拼接后視頻中的一部分區域，因此細節分辨率較高；普通鏡頭避免了廣角引入的畸變；而由于實際使用的攝像頭分辨率較低，因此成本相較低廉（此處并未考慮拼接成本）。

對于一個普適的視頻拼接應用，如圖1所示，需要執行以下操作：

1、獲取，包含了對于處理前視頻的格式轉換乃至視頻解碼；

2、投影，實際上，攝像頭在攝影過程當中隱式地包含了由三維空間到二維空間的投影，這一投影會或多或少地導致邊界處的扭曲以及相對于視頻中心的失配。為了更好地進行匹配操作，需要將視頻投影到一個更為合適的平面上，例如一個圓柱面，以減少扭曲或者失配所引入的影響；

3、匹配，利用SIFT、SURF或者其他算法，尋找視頻間的特征點，并生成對應的轉換矩陣和相對位移；

4、縮放和旋轉，根據轉換矩陣完成對于視頻的縮放和旋轉操作；

5、校正，消除由于攝像頭之間的失配所導致的色差；

6、縫合，在被拼接視頻中尋找最佳的縫合線；

7、拼接，沿著縫合線拼接視頻；

8、輸出，包含了對于處理后視頻的格式轉換乃至視頻編碼。

縫合的優劣和執行速度直接影響了后續的拼接操作，進而影響了視頻融合的效果和性能。

本發明可以有效地減少硬件實現下對于縫合線的搜索時間，提高縫合線的質量，從而高效地實現數字視頻的實時融合操作。

發明內容

本發明的目的在于提出一種可以克服現有技術不足的、能有效進行視頻融合中硬件縫合的方法，以有效地減少硬件實現下對于縫合線的搜索時間，提高縫合線的質量，從而高效地實現數字視頻的實時融合操作。?

本發明提出的視頻融合中硬件縫合的方法，是基于行進行的。首先，依據公式（1）計算第1行內重疊部分所有對應像素的絕對差，取值最小的一對像素點的位置作為縫合線的起點，并記為i₁：

??（1）

其中，i是像素所處的列坐標，j是像素所處的行坐標，以視頻源重疊的部分作為起點，d_i,j是重疊部分第j行第i列的對應像素的絕對差，B^ov_1,i,j和B^ov_2,i,j分別是第1個視頻源和第2個視頻源重疊部分第j行第i列的像素，而所謂重疊部分指的是兩個視頻源所拍攝到的相同的一部分鏡頭，需要在融合時合并為一個鏡頭，m是重疊部分的總列數。

接著，依據公式（2）計算第2行直至最后1行的在[i_j-1-2,i_j-1+2]范圍內的所有對應像素的絕對差，取差最小的一對像素點的位置作為該行的縫合點，并根據當前行數j記為i_j

??（2）