[發(fā)明專利]一種相機(jī)位置信息確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910989767.4
• 申請(qǐng)日: 2019-10-17
• 公開(kāi)（公告）號(hào): CN110880187B
• 公開(kāi)（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 周杰;郭小燕
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06V20/40;G06V10/44
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 李娜

本公開(kāi)關(guān)于一種相機(jī)位置信息確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，方法包括：從視頻流中確定滿足相機(jī)位置初始化條件的第n幀，并進(jìn)行相機(jī)位置初始化；對(duì)第n幀上的至少預(yù)設(shè)數(shù)量個(gè)特征點(diǎn)進(jìn)行三角化，得到第n幀上的至少預(yù)設(shè)數(shù)量個(gè)地圖點(diǎn)，并將第n幀標(biāo)記為被三角化的特征點(diǎn)的關(guān)鍵視頻幀；確定第n+1幀上的地圖點(diǎn)的數(shù)量；在第n+1幀上的地圖點(diǎn)的數(shù)量達(dá)到預(yù)設(shè)數(shù)量時(shí)，根據(jù)第n+1幀上預(yù)設(shè)數(shù)量個(gè)地圖點(diǎn)的三維坐標(biāo)和在第n+1幀中投影的二維坐標(biāo)、第n+1幀的相機(jī)朝向信息，確定第n+1幀的相機(jī)位置信息。本公開(kāi)既將近處的特征點(diǎn)的三維坐標(biāo)作為地圖點(diǎn)；也將遠(yuǎn)處的特征點(diǎn)的三維坐標(biāo)作為地圖點(diǎn)，利用相機(jī)采集到的信息，保持跟蹤穩(wěn)定性。

技術(shù)領(lǐng)域

本公開(kāi)涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種相機(jī)位置信息確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)可以將虛擬的物體合并到現(xiàn)實(shí)場(chǎng)景中，并能支持用戶與其進(jìn)行交互，它已經(jīng)成為虛擬現(xiàn)實(shí)研究中的一個(gè)重要領(lǐng)域，也是人機(jī)界面技術(shù)發(fā)展的一個(gè)重要方向。在增強(qiáng)現(xiàn)實(shí)中，視覺(jué)慣性里程計(jì)是一種常用的相機(jī)跟蹤方法，該方法通過(guò)計(jì)算并最大化物體位置和姿態(tài)坐標(biāo)在視覺(jué)、慣性測(cè)量數(shù)據(jù)下的后驗(yàn)概率，給出位姿坐標(biāo)的最優(yōu)解，從而實(shí)時(shí)跟蹤目標(biāo)位置的技術(shù)。

對(duì)于一個(gè)常見(jiàn)場(chǎng)景，既有近處的特征點(diǎn)，也有遠(yuǎn)處的特征點(diǎn)。隨著相機(jī)移動(dòng)，近處的特征點(diǎn)容易獲得較大視差，而遠(yuǎn)處的特征點(diǎn)較難獲得較大的視差。在相關(guān)技術(shù)中，相機(jī)每移動(dòng)一段距離，當(dāng)前視頻幀和上一視頻關(guān)鍵幀相比，近處的特征點(diǎn)便獲得足夠視差，而遠(yuǎn)處的特征點(diǎn)沒(méi)有足夠的視差。因此相關(guān)技術(shù)很少計(jì)算遠(yuǎn)處的特征點(diǎn)的三維坐標(biāo)作為地圖點(diǎn)。當(dāng)一個(gè)場(chǎng)景中遠(yuǎn)近點(diǎn)分布都充足時(shí)，相關(guān)技術(shù)提供的算法可以穩(wěn)定運(yùn)行，而當(dāng)近點(diǎn)比例較少，或出現(xiàn)不穩(wěn)定時(shí)，因?yàn)闆](méi)有遠(yuǎn)點(diǎn)作為地圖點(diǎn)，因此該算法容易跟蹤失敗。

發(fā)明內(nèi)容

本公開(kāi)提供一種相機(jī)位置信息確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決上述存在的技術(shù)問(wèn)題。本公開(kāi)的技術(shù)方案如下：

本申請(qǐng)第一方面提供一種相機(jī)位置信息確定方法，所述方法包括：

從視頻流中確定滿足相機(jī)位置初始化條件的第n幀，并進(jìn)行相機(jī)位置初始化，所述相機(jī)位置初始化條件為第n幀上存在至少預(yù)設(shè)數(shù)量個(gè)特征點(diǎn)與所述視頻流的第一幀上的特征點(diǎn)相匹配，且相匹配的特征點(diǎn)之間的視差均大于預(yù)設(shè)視差，其中，n為大于1且小于N的整數(shù)，N為所述視頻流包括的視頻幀的數(shù)量；

對(duì)所述第n幀上的所述至少預(yù)設(shè)數(shù)量個(gè)特征點(diǎn)進(jìn)行三角化，得到所述第n幀上的至少預(yù)設(shè)數(shù)量個(gè)地圖點(diǎn)，并將所述第n幀標(biāo)記為被三角化的特征點(diǎn)的關(guān)鍵視頻幀；

根據(jù)所述視頻流中第n+1幀上的每個(gè)特征點(diǎn)與該特征點(diǎn)的上一關(guān)鍵視頻幀上相應(yīng)的特征點(diǎn)之間的視差是否大于所述預(yù)設(shè)視差，以及所述第n+1幀上是否可跟蹤到所述第n幀上的地圖點(diǎn)，確定所述第n+1幀上的地圖點(diǎn)的數(shù)量；

在所述第n+1幀上的地圖點(diǎn)的數(shù)量達(dá)到預(yù)設(shè)數(shù)量時(shí)，根據(jù)所述第n+1幀上預(yù)設(shè)數(shù)量個(gè)地圖點(diǎn)的三維坐標(biāo)和在所述第n+1幀中投影的二維坐標(biāo)，以及，所述第n+1幀的相機(jī)朝向信息，確定所述第n+1幀的相機(jī)位置信息。

進(jìn)一步地，根據(jù)第n+1幀上的每個(gè)特征點(diǎn)與該特征點(diǎn)的上一關(guān)鍵視頻幀上相應(yīng)的特征點(diǎn)之間的視差是否大于所述預(yù)設(shè)視差，以及所述第n+1幀上是否可跟蹤到所述第n幀上的地圖點(diǎn)，確定所述第n+1幀上的地圖點(diǎn)的數(shù)量，包括：

針對(duì)所述第n+1幀上的每個(gè)特征點(diǎn)，在該特征點(diǎn)與該特征點(diǎn)的上一關(guān)鍵視頻幀上相應(yīng)的特征點(diǎn)之間的視差大于所述預(yù)設(shè)視差時(shí)，對(duì)該特征點(diǎn)進(jìn)行三角化，以得到新的地圖點(diǎn)；

將所述第n+1幀上的特征點(diǎn)與所述第n幀上的特征點(diǎn)進(jìn)行匹配，并確定所述第n幀上與所述第n+1上相匹配的特征點(diǎn)是否是所述第n幀上的地圖點(diǎn)，以得到所述第n+1幀上可跟蹤到的地圖點(diǎn)；

確定所述第n+1幀上的地圖點(diǎn)的數(shù)量為所述第n+1幀上的新的地圖點(diǎn)的數(shù)量與所述第n+1幀上可跟蹤到的地圖點(diǎn)的數(shù)量之和。