[發明專利]一種實時的雙目相機矯正方法、裝置及存儲介質

在審

• 申請號: 202011352851.4
• 申請日: 2020-11-27
• 公開（公告）號: CN112634372A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 陳剛;張余;黃凱
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁嘉琦

本發明公開了一種實時的雙目相機矯正方法、裝置及存儲介質，該方法將矯正過程部署到FPGA上進行，包括：通過雙目相機獲取第一圖像中多個像素點坐標，所述第一圖像為矯正前的圖像；將多個所述像素點坐標分別存儲在所述FPGA上的多個隨機存儲器中；利用所述FPGA上的多個隨機存儲器，并根據多個所述像素點坐標，利用雙線性插值法進行插值，得到第二圖像，所述第二圖像為矯正后的圖像。本發明能夠解決現有矯正方法存在的高延遲、高功耗、高資源等問題，通過將雙目相機矯正過程部署到FPGA硬件設備上，可以實時高效的對相機進行矯正處理。為將整個立體匹配過程部署到硬件上做了很好的鋪墊；同時，本發明能夠實現基于FPGA的低功耗、低資源的同時，實時高效地進行矯正處理。本發明可廣泛應用于機器視覺領域。

技術領域

本發明涉及機器視覺領域，尤其是一種實時的雙目相機矯正方法、裝置及存儲介質。

背景技術

立體視覺是從立體攝像機中獲取三維信息的一種常用技術。通過立體匹配可以估計場景內點的深度；立體視覺廣泛應用于智能機器人導航、自動駕駛障礙物檢測、增強虛擬現實、三維視覺輔助手術設備等應用領域，因此立體匹配要求具有很高的實時性能；相機矯正是立體匹配重要的預處理過程，目前的相機矯正過程基本都是在軟件端實現，如opencv和matlab中就含有相機矯正的工具包，在軟件端直接調用函數就可以實現相機矯正，然而這些矯正方法無法做到實時性、無法部署到硬件上；某些在硬件實現的相機矯正過程是通過利用存儲事先計算好的矯正前后像素坐標的映射map來實現的。這種方法需要消耗大量的外部存儲資源，并且功耗高，可移植性差。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種實時的雙目相機矯正方法、裝置及存儲介質。

本發明所采取的技術方案是：

一方面，本發明實施例包括一種實時的雙目相機矯正方法，將矯正過程部署到FPGA上進行，包括：

通過雙目相機獲取第一圖像中多個像素點坐標，所述第一圖像為矯正前的圖像；

將多個所述像素點坐標分別存儲在所述FPGA上的多個隨機存儲器中；

利用所述FPGA上的多個隨機存儲器，并根據多個所述像素點坐標，利用雙線性插值法進行插值，得到第二圖像，所述第二圖像為矯正后的圖像。

進一步地，在通過雙目相機獲取第一圖像中多個像素點坐標之前，還采用張正友標定法對雙目相機進行標定。

進一步地，所述將多個所述像素點坐標分別存儲在所述FPGA上的多個隨機存儲器中具體為：

設置選擇器將多個所述像素點坐標根據坐標地址分別存儲在所述FPGA上的多個隨機存儲器中。

進一步地，所述雙線性插值法的公式為：

p_rec(y′,x′)＝(x₆-x)*(y₆-y)*p(y₅,x₅)+(x₆-x)*(y-y₅)*p(y₆,x₅)+(x-x₅)*(y₆-y)*p(y₅,x₆)+(x-x₅)*(y-y₅)*p(y₆,x₆)

式中，p_rec(y′,x′)表示所述第二圖像的像素值，p(y₅,x₅)、p(y₆,x₅)、p(y₅,x₆)和p(y₆,x₆)分別表示所述第一圖像中的4個相鄰的像素點坐標對應的像素值。