[發(fā)明專(zhuān)利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端徑向畸變校正方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011344480.5
• 申請(qǐng)日: 2020-11-26
• 公開(kāi)（公告）號(hào): CN112561807B
• 公開(kāi)（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 英向華;趙赫;佟新;楊錦發(fā);王睿彬;石永杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京萬(wàn)象新悅知識(shí)產(chǎn)權(quán)代理有限公司 11360
• 代理人: 黃鳳茹

本發(fā)明公布了一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端徑向畸變校正方法，通過(guò)構(gòu)建可微分的畸變生成和畸變校正模塊，采用基于采樣網(wǎng)格的損失函數(shù)和基于圖像重投影的損失函數(shù)，通過(guò)生成海量徑向畸變數(shù)據(jù)，用于訓(xùn)練畸變參數(shù)估計(jì)網(wǎng)絡(luò)，學(xué)習(xí)徑向畸變的幾何特征，適用于任意場(chǎng)景下不同畸變程度的圖片，實(shí)現(xiàn)高效準(zhǔn)確地對(duì)輸入的畸變圖像進(jìn)行校正。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的徑向畸變校正方法。

背景技術(shù)

廣角鏡頭、魚(yú)眼鏡頭具有廣闊的視場(chǎng)角，因此在視頻監(jiān)控、智慧交通以及工業(yè)生產(chǎn)中被廣泛應(yīng)用。然而，這些鏡頭往往受到成像畸變影響，導(dǎo)致其所拍攝的圖片不符合人眼的視覺(jué)習(xí)慣，其中，徑向畸變的影響最為嚴(yán)重，限制了廣角鏡頭在各類(lèi)下游任務(wù)中的應(yīng)用，降低了許多傳統(tǒng)圖像處理算法在廣角鏡頭下的表現(xiàn)，因此，徑向畸變作為一項(xiàng)基礎(chǔ)的預(yù)處理步驟，具有非常重要的研究意義和實(shí)用價(jià)值。

傳統(tǒng)徑向畸變矯正方法往往需要標(biāo)定物的參與，例如棋盤(pán)格或一些特定的點(diǎn)陣，無(wú)法應(yīng)用于任意給定的圖片。現(xiàn)有的自校正算法通過(guò)檢測(cè)場(chǎng)景中一些特定的幾何信息來(lái)完成畸變校正，例如直線、滅點(diǎn)等，這些算法的表現(xiàn)依賴(lài)于幾何信息檢測(cè)的準(zhǔn)確程度，在缺乏直線等特定幾何信息的場(chǎng)景中表現(xiàn)較差，校正精度不高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的攝像機(jī)徑向畸變校正方法，利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，在殘差網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)兩個(gè)可微分的畸變生成和畸變校正模塊，并提出了一個(gè)在線樣本生成方法，一個(gè)基于采樣網(wǎng)格的損失函數(shù)以及一個(gè)基于圖像重投影的損失函數(shù)，可以實(shí)現(xiàn)任意場(chǎng)景下的高精度攝像機(jī)徑向畸變校正。

本發(fā)明的技術(shù)方案如下：

一種基于卷積神經(jīng)網(wǎng)絡(luò)的徑向畸變校正方法，通過(guò)構(gòu)建可微分的畸變生成和畸變校正模塊，采用基于采樣網(wǎng)格的損失函數(shù)以及一個(gè)基于圖像重投影的損失函數(shù)，通過(guò)生成海量徑向畸變數(shù)據(jù)，訓(xùn)練畸變參數(shù)估計(jì)網(wǎng)絡(luò)，學(xué)習(xí)徑向畸變的幾何特征，適用于任意場(chǎng)景下不同畸變程度的圖片，高效準(zhǔn)確地對(duì)輸入的畸變圖像進(jìn)行校正；包括如下步驟：

1)生成徑向畸變仿真圖像數(shù)據(jù)：基于徑向畸變成像模型公式，將無(wú)畸變圖像通過(guò)本發(fā)明設(shè)計(jì)與創(chuàng)建的畸變生成模塊/方法計(jì)算得到徑向畸變仿真圖像，生成畸變圖像；選擇常用的單參數(shù)分?jǐn)?shù)模型作為徑向畸變成像模型：

其中，表示圖像中任意像素點(diǎn)(x，y)到圖像中心點(diǎn)(x_c，y_c)的歐式距離，r_u表示無(wú)畸變圖像中的像素距離，r_d表示畸變圖像中的像素距離，k表示畸變參數(shù)；

畸變生成模塊通過(guò)單參數(shù)分式模型，計(jì)算目標(biāo)畸變圖像中的坐標(biāo)在原始圖像中的位置，然后從原始圖像中采樣像素值，放置于目標(biāo)畸變圖像中；通過(guò)遍歷目標(biāo)畸變圖像中的每一個(gè)位置，重復(fù)上述操作，完成畸變圖像的生成，即得到攝像機(jī)徑向畸變仿真圖像數(shù)據(jù)。

2)構(gòu)建用于徑向畸變校正的深度學(xué)習(xí)模型，包括徑向畸變參數(shù)估計(jì)網(wǎng)絡(luò)模塊和可微分的徑向畸變校正模塊。

參數(shù)估計(jì)網(wǎng)絡(luò)模塊共18層，包括16個(gè)卷積層,1個(gè)池化層和1個(gè)全連接層，其中，所有卷積層均使用殘差結(jié)構(gòu)。將步驟1)生成的攝像機(jī)徑向畸變仿真圖像輸入?yún)?shù)估計(jì)網(wǎng)絡(luò)模塊，該網(wǎng)絡(luò)模塊根據(jù)輸入的畸變圖像，估計(jì)出相應(yīng)的畸變參數(shù)。可微分的徑向畸變校正模塊根據(jù)估計(jì)出的畸變參數(shù)，利用雙線性插值生成無(wú)畸變圖像。參數(shù)估計(jì)網(wǎng)絡(luò)模塊和可微分的徑向畸變校正模塊都允許梯度傳播。

3)利用步驟1)生成的徑向畸變仿真圖像數(shù)據(jù)訓(xùn)練徑向畸變校正的深度學(xué)習(xí)模型的參數(shù)估計(jì)網(wǎng)絡(luò)模塊，得到訓(xùn)練好的徑向畸變參數(shù)估計(jì)網(wǎng)絡(luò)模型。

可以將待處理的畸變圖像直接輸入至訓(xùn)練好的參數(shù)估計(jì)網(wǎng)絡(luò)模型，通過(guò)徑向畸變校正的深度學(xué)習(xí)模型即可快速得到校正后的無(wú)畸變圖像。

本發(fā)明的有益效果：