[發明專利]一種基于卷積神經網絡的端到端徑向畸變校正方法

有效

• 申請號: 202011344480.5
• 申請日: 2020-11-26
• 公開（公告）號: CN112561807B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 英向華;趙赫;佟新;楊錦發;王睿彬;石永杰
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于卷積神經網絡的徑向畸變校正方法，通過構建可微分的畸變生成和可微分的徑向畸變校正模塊，采用基于采樣網格的損失函數和基于圖像重投影的損失函數，通過生成海量徑向畸變數據，用于訓練畸變參數估計網絡，學習徑向畸變的幾何特征，適用于任意場景下不同畸變程度的圖片，對輸入的畸變圖像進行校正；包括如下步驟：

1)生成徑向畸變仿真圖像數據：基于徑向畸變成像模型公式，將無畸變圖像通過畸變生成方法計算得到徑向畸變仿真圖像，生成畸變圖像；

畸變生成方法具體包括如下步驟：

首先通過單參數分式模型，計算目標畸變圖像中的坐標在原始圖像中的位置；

然后從原始圖像中采樣像素值，放置于目標畸變圖像中；

通過遍歷目標畸變圖像中的每一個位置重復上述操作，完成畸變圖像的生成，即得到徑向畸變仿真圖像數據；

2)構建用于徑向畸變校正的深度學習模型，包括徑向畸變參數估計網絡模塊和可微分的徑向畸變校正模塊；將徑向畸變仿真圖像輸入徑向畸變參數估計網絡模塊，估計出相應的畸變參數；再通過可微分的徑向畸變校正模塊根據估計出的畸變參數生成無畸變圖像；

徑向畸變參數估計網絡模塊包括多個卷積層、池化層和全連接層；所有卷積層均使用殘差結構；徑向畸變參數估計網絡模塊用于根據輸入的畸變圖像，估計出相應的畸變參數；可微分的徑向畸變校正模塊用于根據估計出的畸變參數，利用雙線性插值生成無畸變圖像；參數估計網絡模塊和可微分的徑向畸變校正模塊都允許梯度傳播；

所述可微分的徑向畸變校正模塊根據畸變參數，基于單參數分式畸變模型生成一個采樣網格，用于表示目標圖片中像素點在輸入圖像中的采樣位置；可微分畸變校正模塊中采樣網格的損失函數包括一個基于采樣網格的損失函數以及一個基于圖像重投影的損失函數；

基于采樣網格的損失函數選擇使用L1范數作為約束，表示為：

其中，n表示樣本圖像或樣本網格個數，x，y表示圖像的橫縱坐標，和分別表示第i個網格的理想值和預測值中的一點；

基于圖像重投影的損失函數選擇使用L2范數作為約束，表示為：

其中，和分別表示第i個去畸變圖像的理想值和預測值中的一點；

3)利用步驟1)生成的徑向畸變仿真圖像數據訓練步驟2)構建的徑向畸變校正的深度學習模型，得到訓練好的徑向畸變參數估計網絡模型；

4)將待處理的畸變圖像直接輸入訓練好的徑向畸變校正的深度學習模型進行徑向畸變校正，即可快速得到校正后的無畸變圖像。

2.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，步驟1)具體采用單參數分數模型作為徑向畸變成像模型，表示為：

其中，表示圖像中任意像素點(x，y)到圖像中心點(x_c，y_c)的歐式距離，r_u表示無畸變圖像中的像素距離，r_d表示畸變圖像中的像素距離，k表示畸變參數。

3.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，步驟2)所述徑向畸變參數估計網絡模塊共18層，包括16個卷積層、1個池化層和1個全連接層。

4.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，步驟2)所述徑向畸變參數估計網絡模塊和可微分的徑向畸變校正模塊均允許梯度傳播。

5.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，在步驟3)所述訓練的過程中，具體在[-3,0)區間隨機采樣選取畸變參數生成徑向畸變仿真圖像，用于增加模型訓練圖像樣本數據的多樣性，防止網絡模型的過擬合。

6.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，所述可微分的徑向畸變校正模塊生成的采樣網格的形狀為W×H×2，其中，W、H分別是輸入圖像的長和寬。

7.如權利要求1所述基于卷積神經網絡的徑向畸變校正方法，其特征是，具體利用Ubuntu系統的Pytorch學習框架訓練模型，采用ADAGRAD優化算法進行訓練，使得模型充分收斂，得到訓練好的模型。