[發(fā)明專利]一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法、服務(wù)器、終端及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610070926.7
• 申請日: 2016-01-29
• 公開（公告）號: CN107025662B
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 柳寅秋
• 申請（專利權(quán)）人: 成都理想境界科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T19/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，包括以下步驟：

實(shí)時采集環(huán)境場景的圖像；

提取所述環(huán)境場景圖像中的圖像特征；

對當(dāng)前幀圖像中的圖像特征進(jìn)行解析，在預(yù)先構(gòu)建的所述環(huán)境場景的圖像檢索數(shù)據(jù)庫中檢索符合預(yù)設(shè)條件的離線關(guān)鍵幀； 其中，預(yù)先構(gòu)建的所述圖像檢索數(shù)據(jù)庫根據(jù)所述環(huán)境場景的位置信息所獲取；

根據(jù)所述當(dāng)前幀圖像與所述離線關(guān)鍵幀圖像的相對位姿，進(jìn)行所述環(huán)境場景的初始化定位；

根據(jù)所述當(dāng)前幀圖像中符合預(yù)設(shè)條件的3D點(diǎn)，建立所述環(huán)境場景的局部地圖；

對所述環(huán)境場景圖像中的圖像幀進(jìn)行跟蹤；

根據(jù)待顯示的虛擬對象的位姿，在所述環(huán)境場景圖像的當(dāng)前幀圖像中顯示所述虛擬對象。

2.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述實(shí)時采集環(huán)境場景的圖像的步驟之前，還包括：

獲取所述環(huán)境場景的視頻圖像；

根據(jù)所述環(huán)境場景視頻圖像，對所述環(huán)境場景進(jìn)行三維場景重建；

根據(jù)所述環(huán)境場景視頻圖像，構(gòu)建所述環(huán)境場景的圖像檢索數(shù)據(jù)庫；

根據(jù)所述環(huán)境場景視頻圖像，預(yù)設(shè)所述待顯示的虛擬對象在所述環(huán)境場景中的位姿。

3.根據(jù)權(quán)利要求2所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述根據(jù)所述環(huán)境場景視頻圖像，對所述環(huán)境場景進(jìn)行三維場景重建的步驟，具體為：

對所述環(huán)境場景視頻圖像中的圖像幀進(jìn)行圖像特征提取；

根據(jù)所述圖像特征對所述環(huán)境場景視頻圖像進(jìn)行幀間圖像配準(zhǔn)，計(jì)算所述圖像幀之間的相對位姿；

在所述環(huán)境場景視頻圖像中選定離線初始幀，根據(jù)所述離線初始幀建立所述環(huán)境場景的世界坐標(biāo)系，確定所述環(huán)境場景中的3D點(diǎn)的坐標(biāo)；

根據(jù)所述環(huán)境場景視頻圖像中的離線初始幀確定所述環(huán)境場景視頻圖像中的離線關(guān)鍵幀；

根據(jù)所述環(huán)境場景視頻圖像中的離線初始幀與當(dāng)前幀之間所有離線關(guān)鍵幀的位姿及3D點(diǎn)坐標(biāo)構(gòu)建位姿圖，對所述位姿圖進(jìn)行優(yōu)化，更新所述位姿及3D點(diǎn)坐標(biāo)。

4.根據(jù)權(quán)利要求3所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述根據(jù)所述環(huán)境場景視頻圖像，構(gòu)建所述環(huán)境場景的圖像檢索數(shù)據(jù)庫的步驟，具體為：

根據(jù)所述環(huán)境場景視頻圖像中的離線初始幀及離線關(guān)鍵幀中的圖像特征，建立搜索樹或者詞袋。

5.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述根據(jù)所述圖像特征，對所述環(huán)境場景進(jìn)行初始化定位，建立所述環(huán)境場景的局部地圖的步驟，還包括：

將所述當(dāng)前幀、所述符合預(yù)設(shè)條件的離線關(guān)鍵幀及所述當(dāng)前幀中的3D點(diǎn)加入所述環(huán)境場景的局部地圖。

6.根據(jù)權(quán)利要求5所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述對所述環(huán)境場景圖像中的圖像幀進(jìn)行跟蹤的步驟，具體為：

根據(jù)所述環(huán)境場景圖像的上一幀圖像，檢測所述環(huán)境場景圖像的當(dāng)前幀圖像中與所述上一幀圖像匹配的圖像特征；

判斷所述匹配的圖像特征數(shù)是否大于預(yù)設(shè)閾值；

若所述匹配的圖像特征數(shù)大于預(yù)設(shè)閾值，則根據(jù)所述環(huán)境場景圖像的上一幀圖像的位姿及3D點(diǎn)坐標(biāo)確定所述環(huán)境場景圖像的當(dāng)前幀圖像的位姿及3D點(diǎn)坐標(biāo)；

若所述匹配的圖像特征數(shù)小于預(yù)設(shè)閾值，則在所述環(huán)境場景的圖像檢索數(shù)據(jù)庫中檢索與所述環(huán)境場景圖像的當(dāng)前幀圖像匹配的離線關(guān)鍵幀圖像，根據(jù)所述離線關(guān)鍵幀圖像的位姿及3D點(diǎn)坐標(biāo)，確定所述環(huán)境場景圖像的當(dāng)前幀圖像的位姿及3D點(diǎn)坐標(biāo)。

7.根據(jù)權(quán)利要求6所述的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述對所述環(huán)境場景圖像中的圖像幀進(jìn)行跟蹤的步驟，還包括：

判斷所述當(dāng)前幀的位姿是否滿足預(yù)設(shè)條件，若是，則將所述當(dāng)前幀加入所述環(huán)境場景的局部地圖及所述環(huán)境場景的圖像檢索數(shù)據(jù)庫；

根據(jù)所述環(huán)境場景的局部地圖中的所有圖像幀的位姿及3D點(diǎn)坐標(biāo)構(gòu)建位姿圖，對所述位姿圖進(jìn)行優(yōu)化，更新所述圖像幀的位姿及3D點(diǎn)坐標(biāo)。