[發明專利]一種基于多模態數據進行視覺定位的盲人輔助眼鏡

有效

• 申請號: 201810534069.0
• 申請日: 2018-05-29
• 公開（公告）號: CN108721069B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 程瑞琦;林書妃;楊愷倫;汪凱巍;于紅雷
• 申請（專利權）人: 杭州視氪科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 黃歡娣;邱啟旺

1.一種基于多模態數據進行視覺定位的盲人輔助眼鏡，其特征在于，包括眼鏡本體，嵌入式安裝在其中一個鏡腿內的GNSS定位模塊，嵌入式安裝在另外一個鏡腿內的小型處理器和電池模塊，固定在鏡框上方的一個彩色-紅外-深度相機，以及設置在鏡腿尾部的耳機；所述小型處理器中存儲有包含多個位置信息的位置P-特征數據W庫；相機、GNSS模塊、骨傳導耳機分別與小型處理器相連，電池模塊與小型處理器相連，彩色-紅外-深度相機實時地采集周圍場景的彩色-深度-紅外圖像，GNSS定位模塊實時地采集經緯度信息，小型處理器對獲取的彩色-紅外-深度圖像和經緯度信息進行處理，小型處理器通過將多模態數據轉化為定位結果后，將結果轉化為聲音信號，通過耳機告知用戶；

其中，位置P-特征數據W庫具體為：特征數據W包括對應于位置P的經度數據Lon、緯度數據Lat以及GIST、LDB、BoW三種特征，GIST、LDB、BoW三種特征從圖像信息中提取得到，所述圖像信息為在位置P處采集的彩色圖像Color、深度圖像Depth和紅外圖像IR，提取方法為：從Color中提取GIST特征；從Color、Depth和IR中分別提取LDB特征，并將三個LDB特征拼接為一個LDB特征；從Color中提取BoW特征；

定位方法如下：

(1)在待定位處通過相機采集彩色圖像Color’、深度圖像Depth’和紅外圖像IR’；通過GNSS定位模塊獲取經度數據Lon’和緯度數據Lat’；從Color’中提取GIST特征；從Color’、Depth’和IR’中分別提取LDB特征，并將三個LDB特征拼接為一個LDB特征；從Color’中提取BoW特征；

(2)根據Lon’和Lat’篩選出近似位置P，滿足：

其中，t為近似閾值，0t1，Lon,Lat分別為數據庫中存儲的位置P的經度數據Lon和緯度數據Lat；

(3)分別根據GIST’、LDB’、BoW’三種特征從步驟3篩選出的近似位置中尋找最鄰近位置，分別得到三個最鄰近位置P_GIST,P_LDB,P_BoW，其中，兩個位置的GIST特征之間的距離使用歐氏距離計算，兩個LDB特征之間的距離使用Hamming距離計算，兩個BoW特征之間的距離使用L1分數來計算；

(4)若P_GIST,P_LDB,P_BoW三點重合，則最終的定位結果P₀＝P_GIST＝P_LDB＝P_BoW，若三點不重合，則最終的定位結果為三個最鄰近位置的中心點位置。

2.根據權利要求1所述的盲人輔助眼鏡，其特征在于，所述三個LDB特征拼接為一個LDB特征，具體為：從Color、Depth和IR中分別提取LDB特征，分別記為LDBc、LDBd和LDBi，將三個LDB特征首尾相接拼接為一個LDB特征。

3.根據權利要求1所述的盲人輔助眼鏡，其特征在于，三個最鄰近位置的中心點位置通過以下方法獲得：

其中，(Lon₀,Lat₀)為定位結果P₀的坐標，(Lon_GIST,Lat_GIST)為P_GIST的坐標，(Lon_LDB,Lat_LDB)為P_LDB的坐標，(Lon_BoW,Lat_BoW)為P_BoW的坐標。

4.根據權利要求1所述的盲人輔助眼鏡，其特征在于，所述耳機為骨傳導耳機。