[發明專利]一種實現增強現實的方法、服務器、終端及系統

有效

• 申請號: 201610070926.7
• 申請日: 2016-01-29
• 公開（公告）號: CN107025662B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 柳寅秋
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T19/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種實現增強現實的方法，包括以下步驟：實時采集環境場景的圖像；提取環境場景圖像中的圖像特征；根據圖像特征，對環境場景進行初始化定位，建立環境場景的局部地圖；對環境場景圖像中的圖像幀進行跟蹤；根據待顯示的虛擬對象的位姿，在環境場景圖像的當前幀圖像中顯示虛擬對象。本發明同時提供一種實現增強現實的服務器、終端及系統。本發明實現增強現實的方法、服務器、終端及系統，能夠實現在無模板的情況下對環境場景或目標對象進行虛擬對象的圖像疊加顯示，有效地降低了現有的增強現實技術對平面模板的依賴，提高了虛擬對象與真實環境場景的實時配準的準確性，顯著地增強了虛擬對象疊加到環境場景圖像中的協調性與一致性。

技術領域

本發明涉及人工智能及計算機視覺技術領域，尤其涉及一種實現增強現實的方法、服務器、終端及系統。

背景技術

同時定位與地圖創建(Simultaneous Localization and Mapping，SLAM)，是一項應用于在未知環境中自主地圖創建與自身定位相結合的技術，是當前自主導航領域的研究熱點，目標是解決在進入未知環境后，如何感知周圍環境并構建增量式地圖，同時進行自身定位的問題，目前主要應用于無人駕駛、機器人及場景三維重建等技術方向。

增強現實技術(Augmented Reality，AR)借助計算機圖形技術和可視化技術生成現實環境中不存在的虛擬對象，并通過圖像識別定位技術將虛擬對象準確地融合到真實環境中，借助顯示設備將虛擬對象與真實環境融為一體，并呈現給使用者真實的感觀體驗。增強現實技術要解決的首要技術難題是如何將虛擬對象準確地融合到真實世界中，也就是要使虛擬對象以正確的角度姿態出現在真實場景的正確位置上，從而產生強烈的視覺真實感。

現有技術中，目前較為常見的是基于平面模板的增強現實技術方案，通過對紋理特征豐富的平面模板進行訓練，確定虛擬對象的顯示位置。但是，受平面模板的限制，該技術方案對非平面物體及紋理特征偏少的物體的適用性較差。因此，如何在不同類型的真實場景中準確地確定虛擬對象的位置，實現虛擬對象在真實場景中的疊加融合，是增強現實技術發展中亟待解決的技術問題之一。

發明內容

本發明的目的在于提供一種實現增強現實的方法、服務器、終端及系統，將增強現實技術和同時定位與地圖創建技術相結合，通過離線場景地圖構建與在線初始化，實現虛擬對象在真實場景中的融合顯示。

有鑒于此，本發明一方面提供一種實現增強現實的方法，包括以下步驟：實時采集環境場景的圖像；提取所述環境場景圖像中的圖像特征；根據所述圖像特征，對所述環境場景進行初始化定位，建立所述環境場景的局部地圖；對所述環境場景圖像中的圖像幀進行跟蹤；根據待顯示的虛擬對象的位姿，在所述環境場景圖像的當前幀圖像中顯示所述虛擬對象。

優選地，所述實時采集環境場景的圖像的步驟之前，還包括：獲取所述環境場景的視頻圖像；根據所述環境場景視頻圖像，對所述環境場景進行三維場景重建；根據所述環境場景視頻圖像，構建所述環境場景的圖像檢索數據庫；根據所述環境場景視頻圖像，預設所述待顯示的虛擬對象在所述環境場景中的位姿。

優選地，所述根據所述環境場景視頻圖像，對所述環境場景進行三維場景重建的步驟，具體為：對所述環境場景視頻圖像中的圖像幀進行圖像特征提取；根據所述圖像特征對所述環境場景視頻圖像進行幀間圖像配準，計算所述圖像幀之間的相對位姿；在所述環境場景視頻圖像中選定離線初始幀，根據所述離線初始幀建立所述環境場景的世界坐標系，確定所述環境場景中的3D點的坐標；根據所述環境場景視頻圖像中的離線初始幀確定所述環境場景視頻圖像中的離線關鍵幀；根據所述環境場景視頻圖像中的離線初始幀與當前幀之間所有離線關鍵幀的位姿及3D點坐標構建位姿圖，對所述位姿圖進行優化，更新所述位姿及3D點坐標。

優選地，所述根據所述環境場景視頻圖像，構建所述環境場景的圖像檢索數據庫的步驟，具體為：根據所述環境場景視頻圖像中的離線初始幀及離線關鍵幀中的圖像特征，建立搜索樹或者詞袋。