[發明專利]一種基于FPGA的實時圖像處理方法

在審

• 申請號: 202110688723.5
• 申請日: 2021-06-21
• 公開（公告）號: CN113421184A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 于非;趙征;高巖
• 申請（專利權）人: 上海愛觀視覺科技有限公司;上海瞳觀智能科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T1/60
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 曹廷廷

本發明提供一種基于FPGA的實時圖像處理方法，包括：按行將一幀源圖像向FPGA的片外存儲器DDR中開始緩存；一幀源圖像在片外存儲器DDR中緩存達到預設行數n后，對片外存儲器DDR中的源圖像同時進行旋轉、平移、縮放、裁剪和翻轉操作進行計算以獲得目標圖像的圖像數據，并在一幀源圖像在所述片外存儲器DDR中緩存第n+1行的同時開始讀出所述目標圖像的圖像數據，其中，n為正整數，且n的取值小于一幀源圖像的總行數，以實現小于一幀圖像完全儲存到內存中即開始輸出，從而縮短了輸出延遲的時間，不需要等待源圖像一幀完全儲存到內存，就可以開始目標圖像的輸出，提高了實時性；還對源圖像同時進行所述旋轉、平移、縮放、裁剪和翻轉操作。

技術領域

本發明涉及圖像處理領域，特別涉及一種基于FPGA的實時圖像處理 方法。

背景技術

在圖像處理領域，經常需要在一些場景(例如穩拍、3D攝像、VR、 4K/8K高精度拼圖等場景)下對圖像進行翻轉、縮放、旋轉、平移、裁剪 等操作。其中，翻轉指對圖像進行左右翻轉，縮放指以圖像中心為原點對 圖像進行尺寸的變換，旋轉指以圖像中心為原點進行順時針或逆時針旋 轉，平移指對圖像進行上下、左右的移動，裁剪指保留圖像中心部分，將外圍部分設置為某固定色如黑色。源圖像1經過翻轉、縮放、旋轉、平 移、裁剪等操作以得到目標圖像2的示意如圖1所示。

目前，在旋轉、平移、縮放三種操作中，對于圖像的旋轉操作較多， 具體如下：1.例如通過視頻格式轉換器等對圖像做90度、180度等固定的 旋轉操作；2.例如通過數字防抖等做微小角度的旋轉操作。上述操作無法 實現對圖片的角度進行實時、可變的旋轉。

當前的旋轉和平移操作基本都是需要在源圖像一幀完整的保存到內存 中后，才會開始進行旋轉和平移操作，這樣就會導致輸出圖像至少有一幀 的延遲(如CN106530209A)；對于圖像的縮放操作大多是采用單獨的功能 模塊，且需要在源圖像一幀完整的保存到內存中后才會開始進行操作(如 CN112017107A)。另外，如果按照現有的翻轉、縮放、旋轉、平移、裁剪 等功能模塊按照順序簡單的進行堆疊，則會造成輸出圖像更大的延遲。而 在實際應用中，圖像的翻轉需要根據相機的實際情況進行配置；很多場合 對圖像的旋轉的角度不能是簡單的90度、180度等，而是需要旋轉自定義 的角度；圖像的放大的倍率不能是固定的如1.5倍、2倍等，而是需要自定 義的放大倍數；平移和裁剪的像素數也同樣需要根據實際情況進行自定 義。

發明內容

本發明的目的之一在于，提供一種基于FPGA的實時圖像處理方法， 可以減少延遲提高實時性的同時，將翻轉、縮放、旋轉、平移、裁剪等操 作在一次映射過程中完成。

本發明的另一目的在于，翻轉、縮放、旋轉、平移、裁剪操作的參數 是可調節的。

為了解決上述問題，本發明提供一種基于FPGA的實時圖像處理方法， 包括以下步驟：

S1：按行將一幀源圖像向FPGA的片外存儲器DDR中開始緩存；

步驟S2：一幀所述源圖像在所述片外存儲器DDR中緩存達到預設行 數n后，對所述片外存儲器DDR中的所述源圖像同時進行旋轉、平移、縮 放、裁剪和翻轉操作進行計算以獲得目標圖像的圖像數據，并在一幀所述 源圖像在所述片外存儲器DDR中緩存第n+1行的同時開始讀出所述目標圖 像的圖像數據，

其中，n為正整數，且n的取值小于一幀源圖像的總行數。

可選的，步驟S1包括：

建立仿射變換矩陣M，以對所述源圖像的縮放、旋轉和平移操作進行 組合；

根據所述源圖像的縮放、旋轉和平移操作的參數計算所述復合仿射變 換矩陣M；以及

按行將源圖像向FPGA的片外存儲器DDR中開始緩存。

進一步的，其特征在于，所述仿射變換矩陣M如下：