[發(fā)明專利]一種增強(qiáng)現(xiàn)實(shí)視覺顯示器中的相機(jī)標(biāo)定方法、系統(tǒng)及應(yīng)用

在審

• 申請(qǐng)?zhí)枺?/td>: 202210333547.8
• 申請(qǐng)日: 2022-03-31
• 公開（公告）號(hào): CN114943772A
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 榮晗戈;張秀山;徐浩;李永杰;史蓓蕾
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍海軍工程大學(xué)
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T19/00
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 張曉博

本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，公開了一種增強(qiáng)現(xiàn)實(shí)視覺顯示器中的相機(jī)標(biāo)定方法、系統(tǒng)及應(yīng)用，對(duì)使用Harris角點(diǎn)檢測(cè)算法檢測(cè)出的特征點(diǎn)進(jìn)行精化提純；對(duì)標(biāo)準(zhǔn)相機(jī)成像模型公式進(jìn)行再推導(dǎo)，引入鏡頭畸變系數(shù)；對(duì)原始天牛須搜索算法BAS進(jìn)行改進(jìn)，引入兩個(gè)變量μ和eta，求解出的相機(jī)參數(shù)初始值的優(yōu)化。本發(fā)明對(duì)原始的天牛須搜索算法進(jìn)行改進(jìn)，采用變步長(zhǎng)系數(shù)衰減替代每次迭代的衰減步長(zhǎng)系數(shù)，同時(shí)利用到內(nèi)參與畸變系數(shù)具有不同的數(shù)量級(jí)大小，按數(shù)量級(jí)比例調(diào)整步長(zhǎng)分量大小，解決了原優(yōu)化算法易陷入局部最優(yōu)值，高維變量?jī)?yōu)化效果差的缺點(diǎn)。本發(fā)明改進(jìn)了相機(jī)成像模型，利用內(nèi)參與畸變系數(shù)的函數(shù)關(guān)系進(jìn)行擬合，使相機(jī)的標(biāo)定精度得到進(jìn)一步提高。

技術(shù)領(lǐng)域

本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種增強(qiáng)現(xiàn)實(shí)視覺顯示器中的相機(jī)標(biāo)定方法、系統(tǒng)及應(yīng)用。

背景技術(shù)

目前，在增強(qiáng)現(xiàn)實(shí)的視覺顯示器中，通常使用相機(jī)作為物理跟蹤設(shè)備，將相機(jī)拍攝的圖像通過(guò)成熟的計(jì)算機(jī)視覺技術(shù)加以分析，以滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)于三維注冊(cè)的高質(zhì)量要求。目前常用的視覺顯示器一般有智能手機(jī)，平板電腦，頭戴式顯示器(Head MountedDisplay，HMD)等等。在增強(qiáng)現(xiàn)實(shí)中，需要將虛擬的電子信息與真實(shí)的物理世界對(duì)齊，相機(jī)就是聯(lián)系兩者的媒介，那么便需要建立起精確的相機(jī)幾何模型。因此，對(duì)相機(jī)的標(biāo)定至關(guān)重要。

相機(jī)標(biāo)定就是測(cè)量出相機(jī)的內(nèi)參以及鏡頭的畸變系數(shù)，而這些參數(shù)通常被視為常量，不需要在線實(shí)時(shí)測(cè)量，只需要在設(shè)備啟動(dòng)前或者設(shè)備出廠時(shí)進(jìn)行標(biāo)定并解算出參數(shù)，在后續(xù)計(jì)算中使用即可。所以在增強(qiáng)現(xiàn)實(shí)設(shè)備中更多考慮的是離線標(biāo)定，在算法的時(shí)間復(fù)雜度上可以放寬要求，更多地考慮精度與魯棒性。

相機(jī)標(biāo)定方法一般分為傳統(tǒng)相機(jī)標(biāo)定法以及相機(jī)自標(biāo)定法，由于相機(jī)自標(biāo)定法的標(biāo)定精度低，魯棒性差，無(wú)法建立起高精度的相機(jī)模型，故增強(qiáng)現(xiàn)實(shí)設(shè)備中一般采用傳統(tǒng)相機(jī)標(biāo)定法。傳統(tǒng)相機(jī)標(biāo)定法借助了一些尺寸已知且具有特定規(guī)律的標(biāo)志點(diǎn)，通過(guò)空間中某點(diǎn)的三維位置與像平面上對(duì)應(yīng)點(diǎn)的相互關(guān)系，解算出相機(jī)的相對(duì)幾何位姿關(guān)系，以及相機(jī)的內(nèi)參與畸變系數(shù)。目前使用最廣泛的是張正友標(biāo)定法、Tsai兩步標(biāo)定法和直接線性變換方法等。張正友標(biāo)定法使用了一個(gè)黑白的平面棋盤格，從不同位置與角度拍攝多組圖片，通過(guò)這些圖片求解相機(jī)的參數(shù)，再進(jìn)行非線性優(yōu)化，但是標(biāo)定精度偏低。Tsai兩步標(biāo)定法利用解超定線性方程組得到相機(jī)參數(shù)，再考慮畸變系數(shù)，但無(wú)法通過(guò)一個(gè)平面標(biāo)定全部的內(nèi)參數(shù)，且涉及非線性運(yùn)算可能使得結(jié)果不穩(wěn)定。

近年來(lái)很多研究者更多地在研究如何優(yōu)化標(biāo)定的初值，他們先用張正友標(biāo)定方法獲得相機(jī)內(nèi)參初始值，然后使用智能優(yōu)化算法進(jìn)行迭代優(yōu)化。徐呈藝等人將粒子群算法進(jìn)行改進(jìn)，在不同迭代階段實(shí)現(xiàn)對(duì)慣性參數(shù)非線性自適應(yīng)調(diào)整，以平衡局部和全局搜索能力，并且采用驅(qū)散機(jī)制擴(kuò)大粒子群所在空間范圍，避免算法過(guò)早收斂。游江等人將遺傳模擬退火算法進(jìn)行改進(jìn)，結(jié)合收斂性較好的遺傳算法和局部搜索能力較強(qiáng)的模擬退火算法，提出基于競(jìng)爭(zhēng)力權(quán)值的自適應(yīng)交叉和變異概率的方法，在進(jìn)化后期，基于種群趨于穩(wěn)定準(zhǔn)則，加入模擬退火機(jī)制再進(jìn)行優(yōu)化。王道累等人提出一種基于天牛須搜索算法的優(yōu)化方法，模擬天牛覓食的過(guò)程，但是其并不適用于高維向量的優(yōu)化并且容易陷入局部最優(yōu)解。

通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：

(1)相機(jī)自標(biāo)定法標(biāo)定精度低，魯棒性差，無(wú)法建立起高精度的相機(jī)模型。

(2)傳統(tǒng)相機(jī)標(biāo)定法中，張正友標(biāo)定法的標(biāo)定精度偏低；Tsai兩步標(biāo)定法無(wú)法通過(guò)一個(gè)平面標(biāo)定全部的內(nèi)參數(shù)，且涉及非線性運(yùn)算可能使得結(jié)果不穩(wěn)定。

(3)現(xiàn)有的基于天牛須搜索算法的優(yōu)化方法，并不適用于高維向量的優(yōu)化并且容易陷入局部最優(yōu)解。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種增強(qiáng)現(xiàn)實(shí)(Augment Reality，AR)視覺顯示器中的相機(jī)標(biāo)定方法、系統(tǒng)及應(yīng)用。

本發(fā)明是這樣實(shí)現(xiàn)的，一種增強(qiáng)現(xiàn)實(shí)視覺顯示器中的相機(jī)標(biāo)定方法包括以下步驟：