[發(fā)明專利]一種長焦雙目相機的立體標(biāo)定算法

有效

• 申請?zhí)枺?/td>: 201911152607.0
• 申請日: 2019-11-22
• 公開（公告）號: CN110969668B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 仲維;柳博謙;李豪杰;王智慧;劉日升;樊鑫;羅鐘鉉
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 梅洪玉;劉秋彤

本發(fā)明公開了一種長焦雙目相機的立體標(biāo)定算法，屬于圖像處理和計算機視覺領(lǐng)域。由于長焦鏡頭的焦距比較大，所以需要將標(biāo)定物放在比較遠(yuǎn)的地方。由于標(biāo)定物的大小限制，無法將標(biāo)定物覆蓋到整個視場角內(nèi)。本方法從標(biāo)定板覆蓋不到的區(qū)域提取并匹配特征點，并根據(jù)匹配的特征點以及標(biāo)定板角點的坐標(biāo)來進(jìn)行相機標(biāo)定。本方法成功克服標(biāo)定板尺寸不足以覆蓋整個視場角的局限性；程序簡單，易于實現(xiàn)；充分利用了普通標(biāo)定的棋盤格角點和自標(biāo)定的場景特征點，能夠同時對長焦相機的內(nèi)參和外參進(jìn)行修正，操作簡便，結(jié)果精確。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理和計算機視覺領(lǐng)域，涉及從標(biāo)定板覆蓋不到的區(qū)域提取并匹配特征點，并根據(jù)匹配的特征點以及標(biāo)定板角點的坐標(biāo)來進(jìn)行相機標(biāo)定，從而彌補因標(biāo)定板尺寸而無法將特征點覆蓋到整個視場角的問題。

背景技術(shù)

立體視覺是計算機視覺領(lǐng)域的一個重要課題，它的目的在于重構(gòu)場景的三維幾何信息。雙目立體視覺是立體視覺中的一個重要分支。雙目立體視覺使用左右兩臺攝像頭來模擬兩只眼睛，通過計算雙目圖像之間的差別計算出深度圖像，可以用于三維重建、目標(biāo)檢測等多個領(lǐng)域，其中雙目圖像之間的差別成為視差。雙目立體視覺具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點，廣泛用于機器人視覺、車輛導(dǎo)航、醫(yī)學(xué)成像等領(lǐng)域。

雙目立體視覺需要對同一點在左右圖像成像點進(jìn)行匹配，這樣就需要知道攝像機兩個鏡頭本身的焦距和成像中心點、兩個鏡頭之間的位置關(guān)系以及左右兩個鏡頭之間的位置關(guān)系。此外，由于相機鏡頭的生產(chǎn)工藝受限，拍攝出來的圖像存在失真，這種失真稱為相機的畸變。為了得到以上數(shù)據(jù)并消除畸變，我們需要對相機進(jìn)行標(biāo)定。

我們通過標(biāo)定過程得到了相機兩個鏡頭的參數(shù)以及它們的相對位置參數(shù)，然而這些參數(shù)不是穩(wěn)定不變的。隨著溫度、濕度等變化，相機鏡頭的內(nèi)部參數(shù)會發(fā)生變化；此外，相機的意外碰撞可能導(dǎo)致兩個鏡頭之間的位置關(guān)系發(fā)生變化。因此，相機每使用一段時間就需要對其內(nèi)外參數(shù)進(jìn)行修正，這就是自標(biāo)定。

在標(biāo)定相機鏡頭的內(nèi)外參數(shù)的時候，需要計算圖像坐標(biāo)系和三維世界坐標(biāo)系之間的關(guān)系。因此，我們需要知道標(biāo)定物的物理尺寸。此外，還需要得到覆蓋整個視場角(FOV)的左右圖像上的匹配特征點的坐標(biāo)。

長焦數(shù)碼相機就是擁有長焦鏡頭的數(shù)碼相機。鏡頭的焦距一般用毫米來表示，例如我們常說的35mm的鏡頭，50mm的鏡頭，135mm的鏡頭等等。鏡頭根據(jù)它的焦距可以分為廣角鏡頭、標(biāo)準(zhǔn)鏡頭和長焦鏡頭等等，其實這是根據(jù)鏡頭的視角劃分的。透鏡的成像規(guī)律是物距的倒數(shù)與像距的倒數(shù)之和等于焦距的倒數(shù)，即

其中，u、v分別表示物距和相距，f表示相機的焦距。浙江大學(xué)提出了一種基于多項式投影模型的長焦相機標(biāo)定方法(專利公開號：CN102622744A)，將圖像上的點轉(zhuǎn)化到球面上，根據(jù)直線在球面上的投影性質(zhì)進(jìn)行優(yōu)化。由于長焦鏡頭的焦距比較大，所以需要將標(biāo)定物放在比較遠(yuǎn)的地方。由于標(biāo)定物的大小限制，無法將標(biāo)定物覆蓋到整個FOV內(nèi)。為了解決這個矛盾，本發(fā)明同時使用標(biāo)定版和場景中的特征點來對相機的內(nèi)外參進(jìn)行修正。由于事先知道鏡頭的內(nèi)參，所以標(biāo)定板沒有覆蓋FOV是可以接受的。我們使用標(biāo)定板上的特征點的圖像坐標(biāo)和世界坐標(biāo)來對內(nèi)參修正，使用所有特征點的圖像坐標(biāo)來進(jìn)行外參的修正。

發(fā)明內(nèi)容

本發(fā)明旨在克服標(biāo)定板尺寸不足以覆蓋整個視場角的局限性，提出了一種對標(biāo)定板未覆蓋的區(qū)域進(jìn)行特征點檢測和匹配方案，來對標(biāo)定板未覆蓋的區(qū)域進(jìn)行特征點檢測和匹配，并根據(jù)這些特征點對原有的標(biāo)定結(jié)果進(jìn)行修正。流程如圖1所示。

本發(fā)明的技術(shù)方案：

一種長焦雙目相機的立體標(biāo)定算法，包括下列步驟：

1)棋盤格角點檢測：用長焦雙目相機拍攝棋盤格標(biāo)定板圖像，檢測并匹配棋盤格角點，并獲取棋盤格沒有覆蓋到的區(qū)域。

2)場景特征點檢測：用長焦雙目相機拍攝多組場景圖像，檢測并提取特征點以備進(jìn)一步篩選。