[發明專利]一種圖像融合的基于行的硬件實現方法

有效

• 申請號: 201410590976.9
• 申請日: 2014-10-29
• 公開（公告）號: CN104363385A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 范益波;黃磊磊;程魏;金怡澤;曾曉洋
• 申請（專利權）人: 復旦大學
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

1.一種圖像融合的基于行的硬件實現方法，在視頻融合過程中，以一幀圖像為單位執行獲取、投影、匹配、縮放和旋轉、校正、縫合、拼接、輸出一系列操作；具體針對具有以下特征的圖像融合：可以忽略尺寸失配、可以忽略角度失配、固定攝像頭位置和角度，基于上述特征，投影、縮放和旋轉不必執行，匹配操作只執行一次；其特征在于：?

將匹配操作交由軟件執行一次，剩余的獲取、校正、縫合、拼接和輸出操作交由硬件執行；

對于圖像的獲取，使用帶有先入先出緩存（FIFO）的攝像頭加以配合，使得對于圖像數據的獲取是間斷的，并由獲取模塊控制，這也使得對于圖像的獲取操作基于行進行；

對于圖像的校正，使用三個乘法器來完成；乘法器的一組因數是像素在紅綠藍（RGB）通道中的數值，另一組因數是各通道的校正系數；該系數同樣由軟件計算得到，用于調整紅綠藍（RGB）的相對權重和絕對權重；

對于圖像的縫合，使用如下的基于行的縫合算法：

依據公式（1）計算第1行內重疊部分所有對應像素的絕對差，取值最小的一對像素點的位置作為縫合線的起點，并記為i₁：

??（1）

其中，i是像素所處的列坐標，j是像素所處的行坐標，以視頻源重疊的部分作為起點，d_i,j是重疊部分第j行第i列的對應像素的絕對差，B^ov_1,i,j和B^ov_2,i,j分別是第1個視頻源和第2個視頻源重疊部分第j行第i列的像素，而所謂重疊部分指的是兩個視頻源所拍攝到的相同的一部分鏡頭，需要在融合時合并為一個鏡頭，m是重疊部分的總列數；

依據公式（2）計算第2行直至最后1行的在[i_j-1-2,i_j-1+2]范圍內的所有對應像素的絕對差，取差值最小的一對像素點的位置作為該行的縫合點，并根據當前行數j記為i_j：

?（2）

其中，i是像素所處的列坐標，j是像素所處的行坐標，以視頻源重疊的部分作為起點，d_i,j是重疊部分第j行第i列的對應像素的絕對差，B^ov_1,i,j和B^ov_2,i,j分別是第1個視頻源和第2個視頻源重疊部分第j行第i列的像素，n是重疊部分的總行數；

最后，將縫合線的起點i₁和后續的縫合點i₂，i₃，i₄，……，i_n連接，即可得到縫合線；?

對于圖像的拼接，使用如下基于行的拼接算法：

根據公式（3）計算對應點拼接后的值：?

?（3）

其中，F表示融合后圖像，p表示當前點，I_l表示被融合圖像，l=1、2,??i_j是當前行的縫合點，l_blend是執行拼接的范圍，α表示融合系數，由公式4計算都得到：

???（4）

其中，d表示當前點p到拼接范圍的邊界的距離；

對于圖像的輸出，采用兩種模式：

模式一，將視頻源的數據直接輸出，以供軟件處理以完成只需要執行一次的匹配操作和對于校正數據的計算；

模式二，將融合后的圖像輸出；

上述兩種模式也都是基于行完成，即在模式一情況下，輸出緊跟著對于一行原始數據的獲取之后立刻進行；模式二情況下，輸出緊跟這對于一行數據的拼接操作之后立刻進行。