[發明專利]一種多源視頻融合系統

無效

• 申請號: 201310172950.8
• 申請日: 2013-05-13
• 公開（公告）號: CN103269413A
• 公開（公告）日: 2013-08-28
• 發明（設計）人: 韓亮;賀晨輝;杜鋒;李曉;王奎
• 申請（專利權）人: 重慶大學
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N5/262;G05D3/12;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明是一種視頻融合系統，涉及圖像處理領域，視頻處理領域還有自動控制領域。具體涉及一種多源視頻融合的方法和系統。

背景技術

由于傳感器成像機理和自身特性等原因，單一的圖像傳感器一般不能從場景中提取足夠多的信息。多源圖像融合研究的是如何將不同類型傳感器獲取的圖像數據,采用一定算法將其優勢或互補性信息有機結合起來產生新圖像的技術。多源視頻融合是在圖像融合的基礎上發展起來的，它將不同傳感器捕獲的視頻幀結合起來，在相同時間和背景下采用圖像融合的方式不斷進行融合，并最終將融合后的圖像幀以視頻的形式顯示出來，即為視頻融合的過程。

多源圖像融合作為一種處理多傳感器圖像的有效新技術愈來愈受到重視，其應用范圍已遍及醫學、遙感、軍事、安全監控等各個領域。多源視頻融合也同樣在以上領域發揮作用，多源視頻融合圖像的動態顯示讓人能更直觀感知畫面信息，并能快速發現背景中目標的變化，比靜態圖像顯示的信息要豐富得多，因此也更具有優勢。

目前在圖像融合技術中最常見的是紅外與可見光圖像融合?？梢姽鈭D像是光感圖像，目前市面上銷售的攝像機多屬于此類，在較好的照度下能反映場景的細節，但照度不佳時的見光圖像效果較差；紅外圖像是熱感圖像，成像為灰度圖像，灰度值由攝像目標與背景的溫度差決定。因此，在光線較暗或有少量煙、云、霧環境中，由于可見光圖像質量較差，紅外圖像中的目標依然清晰，因此將二者成像結合起來形成紅外與可見光融合圖像，就可以適應較惡劣的天氣情況，如果運用在軍事上就有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。

發明內容

本發明提出一種多源視頻融合的方法，并構建相應裝置，可以很方便的實現多源視頻的融合。提出一種多攝像頭通過線槽經USB多接口轉換與電腦相連接的方法，解決了耗費電腦多個USB接口的問題。提出一種電腦USB直接控制云臺和攝像頭轉動的方法，解決現有視頻融合系統需要采集卡軟件控制的弊端。本發明利用計算機強大的計算能力對攝像頭、云臺等設備進行控制，同時通過編寫操作簡單、功能豐富的控制界面實現人機交互。

本發明給出了一種多源視頻融合方法。其特征在于將多個視頻源通過線槽經USB多接口轉換器與電腦相連接，減少了電腦USB接口的過多消耗，并且減少中間環節，通過電腦的快速處理，加快了視頻融合和輸出顯示的時間。將多個視頻源攝像頭采用剛性連接，水平固定在云臺上，盡量使目標到各攝像頭的高低角和俯仰角一致。云臺控制的方式采用串口/USB轉換器連接到電腦上，使得電腦輸出數據控制結構簡單、實現方便。

系統交互界面采用VC++6.0編寫，在VC++中安裝和配置OpenCV工具，多源攝像頭的圖像采集、融合和顯示均由OpenCV編寫的代碼進行控制，這樣寫代碼時就可以輕松調用OpenCV的庫函數來處理采集的圖像幀。

整個系統的視頻融合處理步驟為：

S1.同時采集一幀各視頻源圖像；

S2.計算圖像配準參數；

S3.對輸入的視頻幀借助在S2獲取的配準參數采用透射變換方法進行逐幀配準，逐幀融合，并保存融合后的視頻幀；

S4.將保存的融合圖像幀以動態視頻的方式在交互界面顯示出來。

在本發明中，圖像的配準技術十分鍵。本發明中圖像配準采用一種圖像灰度預處理、特征塊提取與匹配、采用透射模型計算配準參數的方法來求解配準所需參數。該方法配準精度很高，去噪效果較好。

S2具體步驟為：

S20.對采集到的兩幀圖像分別進行灰度變換預處理，對視頻源1圖像進行高斯高通濾波，對視頻源2圖像進行小波去噪，濾去可見光攝像頭產生的隨機噪聲。

S21.采用一種特征塊標記的算法，標記視頻源1獲取圖像A中的一個3×3的特征塊中心坐標A(x,y)，這里選擇特別突出的特征塊進行手動標記，電腦通過相關匹配法記錄下特征塊在視頻源2獲取的圖像B中R值最大的一點的坐標B(x',y'),然后重復該過程四次，直到在B圖中找到四個匹配點。其中R值通過以下公式獲得：

其中I_Amax(x,y)表示圖像A中灰度值最大的點，I_Bmax(x,y)表示圖像A中灰度值最大的點。

S22.通過匹配成功的特征點，在透射模型下求出圖像配準的參數。

本發明采用一種用VisualC++編寫的融合控制交互界面控制融合的過程，包括融合起始時間、融合圖像每秒融合的幀數、融合圖像保存的位置，融合方法選擇為基于小波變換的圖像融合。