[發明專利]一種基于手機攝像頭和傳感器的多模態室內測距及定位方法

有效

• 申請號: 201810285906.0
• 申請日: 2018-03-28
• 公開（公告）號: CN109059895B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 趙彥超;徐婧;錢紅燕
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G01C21/00
• 分類號: G01C21/00;G01C21/16;G01C11/00;G01C11/08;H04W4/021;H04W4/33
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于手機攝像頭和傳感器的多模態室內測距及定位方法，其特征在于，包括：

(1)特征匹配階段，檢測相同的點在兩幅圖像中的不同位置，通過尺度不變特征變化(SIFT)算法進行特征點的提取和自動匹配；

(2)目標檢測階段，在獲取各目標物體在圖像空間到視覺邊界的距離基礎上，分割并識別多個物體，提供更豐富的檢測數據和空間信息；具體包括如下內容：

(2.1)采用基于深度學習的目標分類與檢測，識別圖像拍攝的室內場景里的單個或多個目標物體；

(2.2)獲取每個目標物體到其檢測框的邊界距離，進一步地，計算物體在圖像坐標系中的坐標；

(2.3)參考物體坐標和預測圖像尺度，獲取物體間距離，計算目標到視覺邊界的距離及其比例；

(3)多模態數據融合階段，在特征點檢測之前，首先由手機內置傳感器補充檢測區域信息，減小匹配模塊的復雜度；利用傳感器數據解決單目測距中的尺度和距離缺失問題，與圖像數據進行補充以及校正；

(4)定位模型求解階段，通過用戶拍攝的兩張及以上的照片，結合圖像數據和傳感器數據，獲取在物理空間上用戶到圖像中各物體的方位和距離；

(5)單目測距及定位階段，根據模型求解的結果測算用戶到場景中某個物體的距離和角度，進而確定用戶位置；結合圖像中物體的識別結果，最終輸出用戶到多個物體的相對位置。

2.根據權利要求1所述的基于手機攝像頭和傳感器的多模態室內測距及定位方法，其特征在于，所述步驟(1)包括：

(1)由手機內置加速度計和陀螺儀的測量數據，確定圖像間距離，劃分目標物體在照片中的區域；

(2)SIFT特征匹配算法包括兩個步驟，首先是SIFT特征的生成，即從兩幅待匹配圖像中提取出對尺度縮放、旋轉、亮度變化無關的特征向量；其次，對尺度特征不變的點進行匹配；

(3)通過Ransac算法去除錯誤匹配點，在特征匹配結果里，找到一個變換矩陣使目標區域內盡量多的特征點都符合這個變換關系，保留這部分檢測結果作為匹配特征。

3.根據權利要求1所述的基于手機攝像頭和傳感器的多模態室內測距及定位方法，其特征在于，所述步驟(3)包括：

(1)在圖像處理部分，為兩張照片劃分目標檢測區域；根據手機內置傳感器的加速度和角速度數據，測算圖像間的移動距離和轉動角度，確定圖像的匹配區域；

(2)在定位模型部分，需要手機攝像頭在兩幅圖像的拍攝定點的移動距離數據; 首先，由加速度計的位移和陀螺儀的角度補償，得到移動距離；但這個數據會隨著時間產生誤差累積，因此，通過無線CSI的菲涅爾模型或者超聲波方法，進一步地確認這個距離數據；多種數據相互校正，提供更準確的數據來源。

4.根據權利要求1所述的基于手機攝像頭和傳感器的多模態室內測距及定位方法，其特征在于，所述步驟(4)包括：

(1)從兩個位置拍攝室內環境中的圖像，由特征匹配及目標檢測的結果，獲取各目標物體到圖像邊界的距離比例；

(2)通過WiFi CSI的菲涅爾模型和超聲波方法補充和校正信息，計算用戶的兩個拍攝點之間的移動距離；

(3)由手機內置加速度計和陀螺儀的測量數據，確定第二個拍攝點相對于第一個拍攝點之間的手機轉動角度，補充圖像中的方位信息；

(4)根據圖像空間中的各角度和比例數據，參考實際物體空間的距離，實現用戶相對于目標物體的距離和方位測量。

5.根據權利要求1所述的基于手機攝像頭和傳感器的多模態室內測距及定位方法，其特征在于，所述步驟(5)包括：

(1)由圖像中物體的分割與檢測，獲取目標到圖像邊界的距離比例；結合無線及超聲波方法測得的實際移動距離，確定圖像中各物體在物體空間到用戶的實際距離；

(2)手機攝像頭的拍攝角和兩個位置上的圖像角度，與內置傳感器讀取的轉動角度信息，互為補充，確定圖像中各物體到用戶的實際方位角度。