[發明專利]一種基于FPGA的超高分辨率視頻圖像實時校準方法

有效

• 申請號: 201910276412.0
• 申請日: 2019-04-08
• 公開（公告）號: CN109995965B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 李華宇;苗書宇;范錫添;馮瑞;劉妍
• 申請（專利權）人: 復旦大學
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N7/20;H04N21/845;H04N17/00
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

1.一種基于FPGA的超高分辨率視頻圖像實時校準方法，用于通過FPGA對超高清視頻圖像進行實時校準，其特征在于，包括如下步驟：

步驟S1，建立原始圖像數據接收通道，直接將所述超高清視頻圖像的原始圖像數據輸送至所述FPGA；

步驟S2，對所述原始圖像數據進行校準處理，得到結果校準數據，該結果校準數據包含所述超高清視頻圖像的中心坐標在X軸的偏移量ΔX、在Y軸的偏移量ΔY以及偏轉角度Δθ；

步驟S3，建立校準結果輸出通道，將所述結果校準數據從FPGA返回，

其中，所述步驟S2包括如下子步驟：

步驟S2-1，建立用于暫存所述原始圖像數據的圖像數據幀緩存區，并對所述原始圖像數據進行預處理得到預處理圖像數據，所述圖像數據幀緩存區包括幀緩沖區調度控制器以及地址管理模塊；

步驟S2-2，通過圖像校準算法對所述預處理圖像數據進行處理并得到ΔX,ΔY,Δθ，所述圖像校準算法處理包括將所述預處理圖像數據通過積分圖計算模塊、卷積差分閉運算、歸一化求反腐蝕模塊、坐標集計算模塊、Span匹配中心坐標計算模塊、ROI卷積模塊以及Cross坐標后處理模塊進行處理；

步驟S2-3，建立結果內存緩存區，將得到的ΔX,ΔY,Δθ進行檢測整理，得到最終的所述校準結果數據，

所述預處理為：

首先對所述原始圖像數據進行初步解碼處理得到預處理圖像數據，后對所述預處理圖像數據進行幀序列化處理，進一步為幀序列中的每個所述預處理圖像數據進行個性化ID標記處理，

所述幀緩沖區調度控制器用于對所述圖像數據幀緩沖區的狀態進行調度，包括檢測所述圖像數據幀緩沖區是否處于未滿的狀態以及檢測FPGA內存處理的所述預處理圖像數據是否完成，

若所述圖像數據幀緩沖區未滿則將所述原始圖像數據輸送至所述圖像數據幀緩沖區中，

若所述FPGA內存處理的圖像已完成則將所述隊列型緩沖區中的預處理圖像數據傳入，

所述地址管理模塊用于對所述FPGA的內存地址進行管理，包括根據預先需求進行內存的分配以及根據部分模塊的處理需求進行動態的內存申請。

2.根據權利要求1所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

其中，所述原始圖像數據接收通道以及所述校準結果輸出通道的傳輸媒介為萬兆網卡、千兆網卡或是PCIE。

3.根據權利要求1所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

其中，所述FPGA的數量為一個或多個。

4.根據權利要求1所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

其中，所述初步解碼處理采用線性解碼處理方法，

所述幀序列化處理為對所述預處理圖像數據建立一個或多個先進先出隊列型緩沖區，

所述個性化ID標記處理為按所述預處理圖像數據的時間戳進行ID標記或是按所述預處理圖像數據進入所述隊列型緩沖區的先后順序進行ID標記。

5.根據權利要求1所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

在所述積分圖計算模塊的過程中產生的積分圖緩存以及在各個坐標計算的過程中由Track坐標集計算產生的坐標緩存采用各自獨立的內存地址或是采用共用的內存地址，

所述歸一化求反腐蝕模塊包括使用一次腐蝕或多次迭代腐蝕操作。

6.根據權利要求1所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

其中，所述結果內存緩存區為根據預先設定的地址設立固定的內存緩存區或是實時根據所述校準結果數據的數據大小申請的動態內存。

7.根據權利要求6所述的基于FPGA的超高分辨率視頻圖像實時校準方法，其特征在于：

其中，對所述校準結果數據進行檢測整理的過程為根據各個所述校準結果數據對應的所述預處理圖像數據在預處理時產生的ID標記進行判斷整理，

當所述校準結果數據的ID與之前輸入的預處理圖像數據的ID不一致時，則將該校準結果數據刪除，并將相對應的預處理圖像數據再次進行圖像校準算法處理，得到新的校準結果數據。