[發明專利]一種定位建圖優化方法、裝置及定位建圖優化芯片

有效

• 申請號: 202010868069.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112000225B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 姜愛鵬;朱猛
• 申請（專利權）人: 唯羲科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T7/55;G06T19/00
• 代理公司: 深圳市特訊知識產權代理事務所(普通合伙) 44653
• 代理人: 何明生

本發明適用于頭戴顯示設備技術領域，提供了一種定位建圖優化方法、裝置及定位建圖優化芯片，方法包括：響應于定位建圖指令，調用第一傳輸模塊獲取輸入圖像和深度圖像，調用第二傳輸模塊獲取傳感器數據；將輸入圖像發送至圖像處理模塊，以使圖像處理模塊根據輸入圖像計算特征描述子；數據打包模塊中，調用時戳產生模塊在特征描述子中添加第一時間標簽，在深度圖像中添加第二時間標簽，在傳感器數據中添加第三時間標簽；調用數據打包模塊根據第一時間標簽、第二時間標簽和第三時間標簽對齊特征描述子、深度圖像和傳感器數據，并將對齊的數據包裝后輸出，以通過SLAM算法執行定位建圖指令。通過本發明可以減輕SLAM算法執行時的計算負荷。

技術領域

本發明涉及頭戴顯示設備技術領域，尤其涉及一種定位建圖優化方法、裝置及定位建圖優化芯片。

背景技術

頭戴顯示設備是AR(Augmented Reality Technique，增強現實技術)的最佳運用環境，其能將虛擬信息通過頭戴設備窗口呈現在真實環境中。目前的AR產品有一體式AR眼鏡，其內置有電池，包含完整的計算處理單元和所有電子器件，能夠獨立工作并滿足AR功能需求。

上述的計算處理單元中通常結合SLAM(Simultaneous Localization andMapping，即時定位與地圖構建)技術實現視覺定位和地圖構建，但一般采用通用CPU芯片來計算，計算負荷大，延時大，多路數據難以同步。

發明內容

本發明的主要目的在于提出一種定位建圖優化方法、裝置及定位建圖優化芯片，以解決現有技術中一體式AR眼鏡所使用的處理芯片計算負荷大，有較高延時，數據同步難的問題。

為實現上述目的，本發明實施例第一方面提供一種定位建圖優化方法，應用于第一傳輸模塊、第二傳輸模塊、圖像處理模塊、數據打包模塊、時戳產生模塊構成的定位建圖優化芯片，方法包括：

響應于定位建圖指令，調用所述第一傳輸模塊獲取輸入圖像和深度圖像，同時調用所述第二傳輸模塊獲取傳感器數據；

將所述輸入圖像發送至所述圖像處理模塊，以使所述圖像處理模塊根據所述輸入圖像計算特征描述子；

將所述特征描述子、所述深度圖像和所述傳感器數據發送至數據打包模塊；

在所述數據打包模塊中，調用所述時戳產生模塊在所述特征描述子中添加第一時間標簽，在所述深度圖像中添加第二時間標簽，在所述傳感器數據中添加第三時間標簽；

調用所述數據打包模塊根據所述第一時間標簽、所述第二時間標簽和所述第三時間標簽對齊所述特征描述子、所述深度圖像和所述傳感器數據，并將對齊的所述特征描述子、所述深度圖像和所述傳感器數據包裝后輸出，以通過SLAM算法執行所述定位建圖指令。

結合本發明第一方面，本發明第一實施方式中，調用所述第一傳輸模塊獲取輸入圖像和深度圖像，包括：

調用所述第一傳輸模塊從雙目彩色攝像頭獲取左眼彩色圖像和右眼彩色圖像，所述左眼彩色圖像和所述右眼彩色圖像均為所述輸入圖像；

調用所述第一傳輸模塊從深度攝像頭獲取所述深度圖像。

結合本發明第一方面第一實施方式，本發明第二實施方式中，將所述輸入圖像發送至所述圖像處理模塊，以使所述圖像處理模塊根據所述輸入圖像計算特征描述子，包括：

分別將所述左眼彩色圖像和所述右眼彩色圖像作為輸入圖像，分別發送至所述圖像處理模塊；

所述圖像處理模塊根據所述輸入圖像計算特征描述子，包括：

對所述輸入圖像進行處理，獲得N層處理圖像和計算描述子；

計算第i層處理圖像的像素的角點值；