[發(fā)明專利]基于改進(jìn)徑向畸變校正的球狀全景拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710192145.X
• 申請(qǐng)日: 2017-03-28
• 公開(kāi)（公告）號(hào): CN107424118A
• 公開(kāi)（公告）日: 2017-12-01
• 發(fā)明（設(shè)計(jì)）人: 操曉春;鄭繼龍;李京知;何軍林;李雪威
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T5/00;G06T7/80
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所12201
• 代理人: 劉國(guó)威

1.一種基于改進(jìn)徑向畸變校正的球狀全景拼接方法，其特征是，通過(guò)改進(jìn)徑向畸變校正消除普通畸變校正造成的圖像損失，然后通過(guò)球狀拼接算法完成全景拼接，最后基于加權(quán)平均法和光均衡融合算法消除重復(fù)區(qū)域干擾及不同攝像頭的光線差異，實(shí)現(xiàn)高分辨率以及廣域拍攝。

2.如權(quán)利要求1所述的基于改進(jìn)徑向畸變校正的球狀全景拼接方法，其特征是，一個(gè)實(shí)例中進(jìn)一步地具體步驟是，

(1)離線相機(jī)標(biāo)定步驟：利用光學(xué)黑白格相機(jī)標(biāo)定板對(duì)8個(gè)攝像頭分別進(jìn)行標(biāo)定，獲取每一個(gè)光心位置、焦距、像素長(zhǎng)寬比、畸變系數(shù)和視場(chǎng)角參數(shù)；

(2)視頻采集模塊：視頻采集模塊基于鏡頭和傳感器模組實(shí)現(xiàn)多路高分辨率圖像同步采集及多路高分辨率視頻實(shí)時(shí)解碼；

(3)基于改進(jìn)徑向畸變校正步驟：本模塊基于每個(gè)相機(jī)的標(biāo)定參數(shù)實(shí)現(xiàn)圖像畸變校正，傳統(tǒng)徑向畸變校正算法公式如式(1)所示。

u＝u^s+(u^s-u₀)[k₁(x²+y²)+k₂(x²+y²)²]

v＝v^s+(v^s-v₀)[k₁(x²+y²)+k₂(x²+y²)²] 式(1)

其中，(u,v)代表矯正畸變后的像素坐標(biāo)，(x^s,v^s)代表實(shí)際徑向畸變的情況下圖像的像素坐標(biāo)，(u₀,v₀)代表離線相機(jī)標(biāo)定獲得的相機(jī)主點(diǎn)坐標(biāo)，k₁，k₂代表相機(jī)前兩階畸變參數(shù)，(x,y)代表理想無(wú)畸變時(shí)的連續(xù)圖像坐標(biāo)，采用改進(jìn)徑向畸變校正模塊，公式如式(2)所示：

u＝u^s+(u^s-u₀*d)[k₁(x²+y²)+k₂(x²+y²)²]

v＝v^s+(v^s-v₀*d)[k₁(x²+y²)+k₂(x²+y²)²] 式(2)

具體實(shí)施方式如下：

首先，基于尺度因子建立新的圖像矩陣，新建立的圖像矩陣除左上角四分之一面積為源圖像像素值，其他范圍為全零矩陣，新圖像長(zhǎng)寬為原始圖像的2倍；然后將待校正圖像平移至新圖像中心區(qū)域，然后進(jìn)行圖像徑向畸變校正，校正完畢后獲取圖像中的角點(diǎn)像素位置，提取矩形區(qū)域作為校正后的圖像，零像素區(qū)域通過(guò)重疊區(qū)域融合模塊去除，最終實(shí)現(xiàn)在無(wú)邊緣損失的情況下的圖像校正功能；

(4)全景拼接模塊：本模塊將矯正后的圖像通過(guò)已知拍攝信息，來(lái)確定多幅圖像的匹配連接集，將矯正后圖像進(jìn)行形變、投影，在投影的過(guò)程中,各攝像機(jī)的局部圖像將投影到一個(gè)統(tǒng)一的球面上，使得圖像具有一定的深度感，在視點(diǎn)變化時(shí)能夠部分地反映整個(gè)視點(diǎn)空間，給觀測(cè)者較為強(qiáng)烈的三維沉浸感，使用球面坐標(biāo)系進(jìn)行拼接時(shí),也即是將每個(gè)圖像點(diǎn)變換為球面上一點(diǎn)，映射公式如式(3)所示，

x′=s tan-1xf]]>

其中，(x,y)代表圖像的平面坐標(biāo)，(x′,y′)代表球面展開(kāi)平面坐標(biāo)，f表示相機(jī)焦距。全景拍攝時(shí)相機(jī)固定，其可看作只發(fā)生水平旋轉(zhuǎn)、豎直旋轉(zhuǎn)，不發(fā)生繞光軸旋轉(zhuǎn)，因此相機(jī)X軸通常會(huì)保持在一個(gè)平面，這一平面的法向u就作為一個(gè)理想的主軸方向，得到的主軸方向u與所有圖像坐標(biāo)系X軸垂直，因此得式(4)，i表示攝像頭序號(hào)，表示第i個(gè)攝像頭所在平面轉(zhuǎn)置矩陣，T表示轉(zhuǎn)置；

寫成最小二乘形式得式5：

這是一個(gè)線性最小二乘問(wèn)題,最優(yōu)解u滿足式6：

▿Σi=18||XiTu||=0]]>

u為3×3矩陣最小特征值對(duì)應(yīng)的特征向量，以u(píng)作為主軸方向確定球面坐標(biāo)系，根據(jù)相機(jī)參數(shù)將所有圖像變換到球面上即完成拼接，獲得全景圖；

(5)拼接融合模塊：本模塊首先基于重疊區(qū)域坐標(biāo)位置截取消除校正帶來(lái)的零像素區(qū)域，然后基于圖像加權(quán)平均和光均衡策略實(shí)現(xiàn)拼接區(qū)域融合，圖像加權(quán)平均公式如式(7)所示：

g(x+i,y)＝af₁(x+i,y)+(1-a)f₂(x+i,y)式(7)

其中，f₁(x,y)和f₂(x,y)分別表示左右兩幅圖像的像素值，g(x,y)表示重疊區(qū)域融合后的像素值，i表示重合區(qū)域的第i個(gè)像素，設(shè)該重合長(zhǎng)度為L(zhǎng)，則0≤i≤L。