[發明專利]一種基于FPGA的雙路視頻實時矯正裝置及方法

有效

• 申請號: 201711421028.2
• 申請日: 2017-12-25
• 公開（公告）號: CN108055510B
• 公開（公告）日: 2018-10-12
• 發明（設計）人: 張弘;吳昱頡;李軍偉
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/262
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于FPGA的嵌入式雙路視頻矯正裝置，其特征在于：包括兩路攝像機、視頻解碼模塊、視頻存儲模塊、通信模塊、參數存儲模塊、中央處理器、視頻編碼模塊以及視頻顯示模塊；視頻解碼模塊將兩路攝像機的視頻從串行信號轉變為并行信號，并傳送給中央處理器FPGA，FPGA將視頻數據暫時存儲到能完成DDR3中，為后續視頻矯正做鋪墊，并從參數存儲模塊中讀取事先存儲的用于視頻矯正的參數，選取一路視頻為基準視頻，針對第二路視頻先去除其本身視頻的鏡頭參數引起的畸變，然后把基準視頻的鏡頭參數采用基于泰勒級數反向添加畸變的方法求出反向添加畸變的計算系數，反向作用添加到第二路視頻，以去除雙路視頻由于畸變引起的誤差；經過矯正后的兩路視頻經過視頻編碼模塊，將并行信號轉為串行信號輸送給視頻顯示模塊顯示出來以供人眼觀看；

所述采用基于泰勒級數反向添加畸變的方法，具體為：

(1)根據基準視頻的畸變系數計算出無畸變視頻的像素坐標值；

(2)將自變量即帶畸變視頻像素坐標和因變量即無畸變后的視頻像素坐標進行交換，利用泰勒級數逼近的方法擬合出反向求解帶畸變視頻坐標的計算公式，得出畸變后水平方向像素坐標值的計算系數和畸變后垂直方向像素坐標值的計算系數；

(3)根據步驟(2)中公式計算系數，將第二路視頻映射為添加基準視頻畸變效應的視頻結果，以消除兩路視頻的相對畸變。

2.根據權利要求1所述的基于FPGA的嵌入式雙路視頻矯正裝置，其特征在于：所述得出畸變后水平方向像素坐標值的計算系數和畸變后垂直方向像素坐標值的計算系數具體過程為：

用泰勒擬合來代替求解二元高次方程組的過程，考慮先求出正向去除基準路視頻攝像機畸變的像素坐標結果，然后將自變量即帶畸變視頻像素坐標和因變量即無畸變后的視頻像素坐標進行交換，擬合出解析式，公式如下：

其中x,y是實際拍攝的有畸變效應的像素坐標，x',y'是無畸變效應的像素坐標，當通過上式計算出x',y'的值后，利用泰勒級數擬合出下式

擬合出如下的三次多項式，

其中p_ijx是擬合求添加畸變后水平方向像素坐標值的計算系數，p_ijy是擬合求添加畸變后垂直方向像素坐標值的公式計算系數。

3.一種基于FPGA的嵌入式雙路視頻矯正方法，其特征在于包括以下步驟：首先使用棋盤格對兩路視頻的相機鏡頭進行內部參數標定；然后以一路視頻為基準，去除第二路視頻畸變，再把基準視頻鏡頭標定好的畸變參數效果添加到第二路視頻中，以去除雙路視頻由于畸變引起的誤差，符合人眼視覺感受，具體如下：

(1)使用棋盤格對雙路攝像機進行標定，得到畸變系數；并且根據基準視頻的畸變系數利用基于泰勒級數反向添加畸變的方法求出反向添加畸變的計算系數，包括水平坐標映射系數和垂直坐標映射系數；之后上位機通過通訊模塊RS422將第二路的去除畸變所用到的計算系數，即第二路標定的畸變系數和基準視頻的反向添加畸變計算系數寫入到參數存儲模塊中；

(2)雙路視頻通過視頻解碼模塊輸送到FPGA，由FPGA暫存在DDR3中，然后根據(1)中在參數存儲模塊中存儲的計算系數，計算出第二路視頻的映射地址，據此從DDR3中讀取視頻數據，依據基準視頻去矯正第二路視頻，達到去除兩路視頻相對畸變的目的；

(3)將兩路視頻進行編碼，然后輸送到視頻編碼模塊轉為串行視頻，最終顯示出來以供人眼觀看；

所述步驟(1)中基于泰勒級數反向添加畸變的方法，具體為：

(11)根據基準視頻的畸變系數計算出無畸變視頻的像素坐標值；

(12)將自變量即帶畸變視頻像素坐標和因變量即無畸變后的視頻像素坐標進行交換，利用泰勒級數逼近的方法擬合出反向求解帶畸變視頻坐標的計算公式，得出畸變后水平方向像素坐標值的計算系數和畸變后垂直方向像素坐標值的計算系數；

(13)根據步驟(12)中公式計算系數，將第二路視頻映射為添加基準視頻畸變效應的視頻結果，以消除兩路視頻的相對畸變。