[發(fā)明專利]一種圖像融合處理方法及基于FPGA的平視視景的系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210838060.5
• 申請日: 2022-07-17
• 公開（公告）號: CN115409748A
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 蘇霖;張川;趙學(xué)娟;李文強
• 申請（專利權(quán)）人: 中國航空工業(yè)集團公司洛陽電光設(shè)備研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/33;G06T3/40;G06T1/60
• 代理公司: 西安凱多思知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 趙革革

1.一種EVS、SVS圖像融合處理方法，其特征在于步驟如下：

步驟1：對EVS圖像和SVS圖像進行配準(zhǔn)，使得EVS圖像中心點與SVS圖像中心點重合；

步驟2：對配準(zhǔn)后的EVS圖像進行縮放處理方法包括位置校正方法和像素校正方法，使EVS圖像的分辨率與SVS圖像的分辨率保持一致；

步驟3：將SVS圖像時鐘域的輸入視頻數(shù)據(jù)同步到EVS圖像時鐘域內(nèi)，實現(xiàn)EVS圖像和SVS圖像的同步；

步驟4：采用改進型的拉普拉斯金字塔融合算法，依據(jù)CPU Local Bus總線發(fā)送的融合控制參數(shù)，對同步后的EVS圖像和SVS圖像進行融合得到EVS、SVS融合圖像，并選擇發(fā)送EVS圖像或者EVS、SVS融合圖像；

步驟5：依據(jù)CPU Local Bus總線發(fā)送的對比度調(diào)節(jié)參數(shù)對融合圖像的灰度值進行調(diào)節(jié)；

步驟6：將融合圖像時鐘域的輸入視頻數(shù)據(jù)同步到字符圖像時鐘域內(nèi)，實現(xiàn)融合圖像和字符圖像的同步；

步驟7：依據(jù)CPU Local Bus總線發(fā)送的疊加控制參數(shù)，選擇輸出單字符圖像或者字符、融合圖像疊加圖像。

2.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述EVS圖像和SVS圖像的配準(zhǔn)：依據(jù)CPU Local Bus總線發(fā)送的配準(zhǔn)參數(shù)，對EVS圖像進行上下左右平移；若對EVS圖像向左平移N列，則截取掉圖像左邊緣N列，在圖像右邊緣補上N列，其像素值為0；若對EVS圖像向右平移N列，則截取掉圖像右邊緣N列，在圖像左邊緣補上N列，其像素值為0；若對EVS圖像向上平移N行，則截取掉圖像上邊緣N行，在圖像下邊緣補上N行，其像素值為0；若對EVS圖像向下平移N行，則截取掉圖像下邊緣N行，在圖像上邊緣補上N行，其像素值為0。

3.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述步驟2的像素校正采用雙線性插值的計算方法。

4.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述步驟3的兩路視頻圖像同步時，SVS視頻根據(jù)其數(shù)據(jù)有效信號DE將數(shù)據(jù)寫入WRITE_FIFO，當(dāng)完成SVS視頻數(shù)據(jù)的讀寫控制，EVS視頻根據(jù)其數(shù)據(jù)有效信號DE從READ_FIFO存儲器中將SVS視頻數(shù)據(jù)讀出。

5.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述步驟3中增加仲裁機制：重復(fù)讀取或者刪除SVS視頻一個完整幀的畫面數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述改進型的低頻融合算法即比較區(qū)域能量和區(qū)域梯度的方法：輸入數(shù)據(jù)先經(jīng)過三級緩存，從緩存的三行數(shù)據(jù)中提取3X3窗口，計算該窗口的區(qū)域平均梯度和區(qū)域能量，然后經(jīng)過融合規(guī)則判斷模塊計算融合像素值：

其中：GA_N、GB_N、GF_N代表兩路源圖像和融合圖像的第N層高斯金字塔，EA、EB分別為EVS和SVS圖像的區(qū)域能量，GA、GB分別為EVS和SVS圖像的區(qū)域平均梯度，T為加權(quán)系數(shù)，T＝0.625。

7.根據(jù)權(quán)利要求1所述EVS、SVS圖像融合處理方法，其特征在于：所述對融合圖像的灰度值進行調(diào)節(jié)是：將融合圖像每個像素點的像素值乘以對比度調(diào)節(jié)系數(shù)，實現(xiàn)融合圖像灰度值調(diào)節(jié)。

8.一種實現(xiàn)權(quán)利要求1～7任一項所述EVS、SVS圖像融合處理方法的基于FPGA的平視的視景系統(tǒng)，其特征在于包括：包括配準(zhǔn)單元、縮放單元、SVS圖像緩存單元、圖像融合單元、對比度調(diào)節(jié)單元、融合圖像緩存單元以及圖像疊加單元；

配準(zhǔn)單元通過接收CPU Local Bus總線發(fā)送的配準(zhǔn)參數(shù)，對EVS圖像進行上下左右平移，將EVS圖像中心點與SVS圖像中心點重合，輸出至縮放單元；

縮放單元對配準(zhǔn)后的EVS圖像進行縮放處理包括位置校正和像素校正后，使EVS圖像分辨率與SVS圖像分辨率保持一致，輸出至SVS圖像緩存單元；

SVS圖像緩存單元將SVS圖像時鐘域的輸入視頻數(shù)據(jù)同步到EVS圖像時鐘域內(nèi)后輸出至圖像融合單元；

圖像融合單元通過接收CPU Local Bus總線發(fā)送的融合控制參數(shù)進行圖像融合后輸出單EVS圖像或者EVS、SVS融合圖像至對比度調(diào)節(jié)單元；

圖像對比度調(diào)節(jié)單元通過接收CPU Local Bus總線發(fā)送的對比度調(diào)節(jié)參數(shù)對融合圖像的灰度值進行調(diào)節(jié)后，輸出至融合圖像緩存單元；

融合圖像緩存單元將融合圖像時鐘域的輸入視頻數(shù)據(jù)同步到字符圖像時鐘域內(nèi)，實現(xiàn)融合圖像和字符圖像的同步后，輸出至圖像疊加單元；

圖像疊加單元通過接收CPU Local Bus總線發(fā)送的疊加控制參數(shù)，選擇輸出單字符圖像或者字符、融合圖像疊加圖像。