[發明專利]一種基于FPGA的超高分辨率視頻圖像實時校準方法

有效

• 申請號: 201910276412.0
• 申請日: 2019-04-08
• 公開（公告）號: CN109995965B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 李華宇;苗書宇;范錫添;馮瑞;劉妍
• 申請（專利權）人: 復旦大學
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N7/20;H04N21/845;H04N17/00
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供了一種基于FPGA的超高清視頻圖像實時校準方法，用于通過FPGA對超高清視頻圖像進行實時校準，其特征在于，包括如下步驟：步驟S1，建立原始圖像數據接收通道，直接將超高清視頻圖像的原始圖像數據輸送至FPGA；步驟S2，對原始圖像數據進行校準處理，得到結果校準數據；步驟S3，建立校準結果輸出通道，將結果校準數據從FPGA返回，其中，步驟S2包括如下子步驟：步驟S2?1，建立圖像數據幀緩存區，并對原始圖像數據進行預處理得到預處理圖像數據；步驟S2?2，通過圖像校準算法對預處理圖像數據進行處理并得到ΔX,ΔY,Δθ；步驟S2?3，建立結果內存緩存區，將得到的ΔX,ΔY,Δθ進行整理，得到最終的校準結果數據。

技術領域

本發明屬于視頻圖像處理領域，具體涉及一種基于FPGA的超高清視頻圖像實時校準處理方法。

背景技術

超高清視頻圖像校準技術在我們的生活中發揮著重要的作用。在生物醫學工程、工業工程方面、軍事公安方面、航空航天方面均發揮著舉足輕重的作用。隨著科技技術的發展，視頻圖像的分辨率越來越高，分辨率越高，帶來的視頻圖像信息越豐富，越有利于采集更多有用的信息，5Kx5K的分辨率應用也逐漸常見。

然而，大的視頻圖像分辨率帶來的是，會在校準時產生更大的計算力需求，也就是說，使得硬件處理速度的壓力逐漸變大。一方面，隨著計算機技術的發展，CPU的處理速度已經得到了不斷地提高，對單位數據量的處理速度已經很快；另一方面，在很多領域的視頻圖像校準處理要求越來越高的實時性，這對單位時間內的硬件算力要求更高。但是CPU的算力的提升不足以彌補現在視頻圖像在較大分辨率下對實時性處理的要求。

對視頻圖像的校準處理，常見處理方式有基于PC機CPU處理方式和基于DSP的處理方式?；贑PU的處理方式為基于馮·諾依曼架構計算機平臺上的，這種方式在本質上是順序執行的，對于一張5Kx5K分辨率的視頻圖像來說，采用CPU的處理方式，處理速度慢，實時性不強，無法滿足現實很多場景中對處理速度快的需求。基于DSP的處理方式，數字信號處理器(DSP)運用了數學運算單元(MAC)，其采取在硬件上配置不同等級的流水線結構。其帶來的不足也顯而易見的，由于硬件結構的固定，流水線的結構使得DSP在視頻圖像處理的過程中為線性計算，具有明顯的不足，對于處理系統的開發進程也不友好。

科技的進步，帶來的分辨率越來越大的視頻圖像，其包含的語義信息也更加豐富，對圖像的信息提取越來越有利，伴隨產生的是進行圖像校準的困難，帶來的巨大計算量對硬件的算力為不小的負荷。面對視頻圖像校準實時性的處理需求，如何在單位時間內，快速準確的對目標視頻圖像分進行分析處理與校準，對視頻圖像的實際產業落地應用至關重要。

目前硬件算力的提升速度，已經無法滿足對視頻圖像校準算法中算力的巨大需求。因此針對有限的硬件條件，實現超高清視頻圖像校準的實時性處理具有重要的意義。

發明內容

為了解決上述問題，本發明針對超高清視頻圖像校準提供了一種基于FPGA加速處理方法，該方法基于軟硬件的有效操作對超高清視頻圖像的校準進行快速處理，能夠顯著的增加對超高清視頻圖像校準的處理速度。本發明的技術方案如下：

本發明提供了一種基于FPGA的超高分辨率視頻圖像實時校準方法，用于通過FPGA對超高清視頻圖像進行實時校準，其特征在于，包括如下步驟：步驟S1，建立原始圖像數據接收通道，直接將超高清視頻圖像的原始圖像數據輸送至FPGA；步驟S2，對原始圖像數據進行校準處理，得到結果校準數據，該結果校準數據包含超高清視頻圖像的中心坐標在X軸的偏移量ΔX、在Y軸的偏移量ΔY以及偏轉角度Δθ；步驟S3，建立校準結果輸出通道，將結果校準數據從FPGA返回，其中，步驟S2包括如下子步驟：步驟S2-1，建立用于暫存原始圖像數據的圖像數據幀緩存區，并對原始圖像數據進行預處理得到預處理圖像數據，圖像數據幀緩存區包括幀緩沖區調度控制器以及地址管理模塊；步驟S2-2，通過圖像校準算法對預處理圖像數據進行處理并得到ΔX,ΔY,Δθ；步驟S2-3，建立結果內存緩存區，將得到的ΔX,ΔY,Δθ進行整理，得到最終的校準結果數據。