[發(fā)明專利]一種基于運動球體的同步相機的基礎(chǔ)矩陣求解及標(biāo)定方法

在審

• 申請?zhí)枺?/td>: 202210402592.4
• 申請日: 2022-04-18
• 公開（公告）號: CN114820811A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 楊連平;王軍保;熊婉彤;趙強;陸小軍;付昊月;郭陽;王琪
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/73;G06T7/246;G06F17/11;G06F17/16
• 代理公司: 沈陽優(yōu)普達(dá)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 21234
• 代理人: 陳曦

本發(fā)明提供一種基于運動球體的同步相機的基礎(chǔ)矩陣求解及標(biāo)定方法。使用多臺待標(biāo)定的相機從不同的角度同步拍攝單一運動球體，獲取多段同步視頻，然后使用圓檢測算法自動地檢測每一幀圖像中的球體并得到其球心在圖像中的像素坐標(biāo)，進(jìn)而得到一系列2D對應(yīng)點坐標(biāo)，然后據(jù)此計算對極約束中的基礎(chǔ)矩陣，并結(jié)合相機的內(nèi)參計算得到相機的投影矩陣。該方法的優(yōu)點是：使用方便，自動化程度高，標(biāo)定結(jié)果準(zhǔn)確，能夠在多種戶外環(huán)境中使用。

技術(shù)領(lǐng)域

本發(fā)明屬于相機標(biāo)定技術(shù)領(lǐng)域，涉及一種基于運動球體的同步相機的基礎(chǔ)矩陣求解及標(biāo)定方法。

背景技術(shù)

相機標(biāo)定的意義是：如果得到了三維空間中某個三維點(三維坐標(biāo)未知)在多個視圖中的二維像素坐標(biāo)，根據(jù)相機的投影矩陣，就可以計算該點的三維坐標(biāo)，這是基于多視圖幾何原理的三維重建流程。

進(jìn)行多視圖三維重建的關(guān)鍵是準(zhǔn)確估計出多個同步相機的投影矩陣。為此需要同步視圖中尋找若干對對應(yīng)點，根據(jù)對極幾何的原理，以兩臺相機為例，可以使用八點法計算基礎(chǔ)矩陣，即：在兩個視圖中找出若干對(不低于八對)2D對應(yīng)點，然后建立線性方程組求出基礎(chǔ)矩陣的最小二乘解。然后根據(jù)已知的相機內(nèi)參矩陣計算對應(yīng)的本質(zhì)矩陣，最后對本質(zhì)矩陣進(jìn)行分解，可以得到需要的兩個相機投影矩陣。估計出的相機投影矩陣的準(zhǔn)確程度，決定了后續(xù)三維重建的精確度。

為了在兩個視角的圖像中檢測出若干組2D對應(yīng)點，用于計算對極約束中的基礎(chǔ)矩陣，一種常用方法是：在圖像中檢測SIFT特征點，然后在兩個視角的圖像中進(jìn)行匹配，使得每一組2D對應(yīng)點對應(yīng)于三維空間中的同一個3D點。在圖像中檢測SIFT特征點的方法的不足之處在于：在一張圖片中往往會自動檢測出成千上萬個SIFT特征點，但其中包含了很多錯誤匹配的點，需要使用RANSAC等算法排除不匹配的噪聲點，使得整體的計算量很大，整個過程也比較耗時。不僅如此，由于檢測到的SIFT特征點大部分來源于圖像中的背景，這使得檢測SIFT特征的方法還受制于背景環(huán)境，對于圖像中不同的實際背景，其結(jié)果常常不夠穩(wěn)定。

另外，中國專利ZL200720154429提供了一種可拆卸式的三維標(biāo)定框架，共提供8根標(biāo)定桿，每根標(biāo)定桿上固定有3或4個白色小球作為標(biāo)記點，小球直徑為34mm。在使用時可將所有標(biāo)定桿固定于同一個底座上，組裝完成后呈輻射狀分布，在三維空間中一共提供26個白色小球作為標(biāo)記點。如果在兩臺相機拍攝的圖片中，各個標(biāo)記小球之間沒有重合，在一幀圖像中，該三維標(biāo)定框架可以提供26對2D對應(yīng)點。但該方案存在如下幾個方面局限性：一方面三維標(biāo)定框架往往造價昂貴，阻礙了相關(guān)從業(yè)者便捷地進(jìn)行相關(guān)的實驗與研究；另一方面，三維標(biāo)定框架中的標(biāo)定桿上固定的標(biāo)記小球一般比較小，在拍攝出的圖片中難以利用圓檢測等相關(guān)算法自動地計算標(biāo)記小球的像素坐標(biāo)，且不容易精確匹配兩視圖中的對應(yīng)標(biāo)記小球，這一不足在室外距離三維標(biāo)定框架較遠(yuǎn)處拍攝時，顯得格外突出，所以通常需要使用人力去標(biāo)注圖像中的標(biāo)記小球的位置，這既費時又費力；此外，該三維標(biāo)定框架對使用條件要求較高，使其在戶外的場景中很受限制。并且三維標(biāo)定框架標(biāo)定的相機適用的空間范圍有限，當(dāng)超出其有效范圍時重建結(jié)果會有很大的偏差。在大型場景重建中，特別是空中大范圍運動的人體(如滑雪運動員的空中動作)，標(biāo)定架只占整個空間中很小的一部分，僅通過圖像中一個集中小區(qū)域的點來重建整幅圖中的結(jié)構(gòu)是不準(zhǔn)確的。因此，如果要重建的物體距離標(biāo)定框架比較遠(yuǎn)，就會出現(xiàn)重建比例失調(diào)的現(xiàn)象。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供一種基于運動球體的同步相機的基礎(chǔ)矩陣求解及標(biāo)定方法，以球體的球心為參考點，同時可以自由方便地變換球體在三維場景空間中的位置，使得球體的球心在多視圖中提供的多組2D對應(yīng)點能夠更充分地表征拍攝場景所在的三維空間，從而提高基礎(chǔ)矩陣求解的準(zhǔn)確度，進(jìn)而提升相機標(biāo)定的精度。

本發(fā)明提供一種基于運動球體的同步相機的基礎(chǔ)矩陣求解及標(biāo)定方法，包括：

步驟1：在拍攝場景中固定多臺相機，同步拍攝視頻；

步驟2：離線或者在線標(biāo)定相機的內(nèi)參矩陣；