[發(fā)明專利]一種圖像融合的基于行的硬件實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201410590976.9
• 申請日: 2014-10-29
• 公開（公告）號: CN104363385A
• 公開（公告）日: 2015-02-18
• 發(fā)明（設(shè)計）人: 范益波;黃磊磊;程魏;金怡澤;曾曉洋
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字視頻處理技術(shù)領(lǐng)域，具體涉及一種適用于圖像融合的基于行的硬件實現(xiàn)方法。

背景技術(shù)

隨著電子多媒體的長足發(fā)展，人們對于寬屏乃至全景視頻的需求也越來越旺盛。不管是看電影、玩游戲、還是視頻會議、車載監(jiān)控，人們都在追求更寬更大的視頻體驗。這種追求來源于寬屏全景能夠提供普通視頻所不能提供的沉浸式體驗。在沉浸式的體驗中，從情感上，人們能夠更為身臨其境地感受視頻的氛圍；從功能上，人們能夠從視頻中獲取更多的信息。

為了實現(xiàn)寬屏乃至全景，傳統(tǒng)的方法是利用廣角鏡頭進行拍攝。但這種方法會不可避免地引入至少以下三種問題。其一、由于拍攝范圍過大所導(dǎo)致的細節(jié)分辨率下降；其二、由于廣角鏡頭所引入的邊緣扭曲甚至畸形；其三、昂貴的鏡頭和攝像機費用。

作為廣角鏡頭的候選方法，視頻拼接慢慢地為人們所關(guān)注。該方向致力于從若干個分辨率較低的攝像頭中獲取源視頻，通過拼接處理，從而產(chǎn)生出一個分辨率較高的融合后視頻。由于每個攝像頭只用于拍攝拼接后視頻中的一部分區(qū)域，因此細節(jié)分辨率較高；普通鏡頭避免了廣角引入的畸變；而由于實際使用的攝像頭分辨率較低，因此成本相較低廉（此處并未考慮拼接成本）。

對于一個普適的視頻拼接應(yīng)用，如圖1所示，需要執(zhí)行以下操作：

????1、獲取，包含了對于處理前視頻的格式轉(zhuǎn)換乃至視頻解碼；

????2、投影，實際上，攝像頭在攝影過程當(dāng)中隱式地包含了由三維空間到二維空間的投影，這一投影會或多或少地導(dǎo)致邊界處的扭曲以及相對于視頻中心的失配。為了更好地進行匹配操作，需要將視頻投影到一個更為合適的平面上，例如一個圓柱面，以減少扭曲或者失配所引入的影響；

????3、匹配，利用SIFT、SURF或者其他算法，尋找視頻間的特征點，并生成對應(yīng)的轉(zhuǎn)換矩陣和相對位移；

????4、縮放和旋轉(zhuǎn)，根據(jù)轉(zhuǎn)換矩陣完成對于視頻的縮放和旋轉(zhuǎn)操作；

????5、校正，消除由于攝像頭之間的失配所導(dǎo)致的色差；

????6、縫合，在被拼接視頻中尋找最佳的縫合線；

????7、拼接，沿著縫合線拼接視頻；

????8、輸出，包含了對于處理后視頻的格式轉(zhuǎn)換乃至視頻編碼。?

這些操作往往都是以幀做為單位的，即對于一幀圖像，在完成了投影之后才能對其進行匹配，在完成了縫合之后才能進行拼接等，直接導(dǎo)致了圖像融合模塊對于存儲空間和數(shù)據(jù)帶寬的大量占用。這種占用最終會體現(xiàn)為效率低下和成本昂貴。

本發(fā)明可以將處理單位從一幀像素縮減到一行像素，有效地減少硬件實現(xiàn)下的處理速度，從而高效地實現(xiàn)數(shù)字視頻的實時融合操作。?

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種可以克服現(xiàn)有技術(shù)不足的、能有效進行圖像融合的基于行的硬件實現(xiàn)方法。

本發(fā)明方法針對具有以下特征的圖像融合：可以忽略的尺寸失配、可以忽略的角度失配、固定的攝像頭位置和角度。該特征的典型應(yīng)用為視頻會議、可視電話、全景監(jiān)控等。由于上述特征，投影、縮放和旋轉(zhuǎn)可以不必執(zhí)行，匹配操作可以只執(zhí)行一次。由于這個原因，本發(fā)明將匹配操作交由軟件執(zhí)行一次，將剩余的獲取、校正、縫合、拼接和輸出操作交由硬件執(zhí)行。

對于圖像的獲取，本發(fā)明使用帶有先入先出緩存（FIFO）的攝像頭加以配合，這使得對于圖像數(shù)據(jù)的獲取可以是間斷的，由獲取模塊控制的，而不必由于圖像數(shù)據(jù)源源不斷的進入而使用片外存儲器，并占用數(shù)據(jù)帶寬。同時，這也使得對于圖像的獲取操作可以是基于行進行的。

對于圖像的校正，本發(fā)明使用三個乘法器來完成。乘法器的一組因數(shù)是像素在紅綠藍（RGB）通道中的數(shù)值，另一組因數(shù)是各通道的校正系數(shù)，如圖2所示。該系數(shù)同樣由軟件計算得到，用于調(diào)整RGB的相對權(quán)重和絕對權(quán)重。由于攝像頭是固定的，這一數(shù)值也只需要被計算一次。值得注意的是這一校正算法實際是基于像素點的，因此，可以被擴充為基于行的。

對于圖像的縫合，本發(fā)明使用如下的基于行的縫合算法：

依據(jù)公式（1）計算第1行內(nèi)重疊部分所有對應(yīng)像素的絕對差，取值最小的一對像素點的位置作為縫合線的起點，并記為i₁：

??（1）