[發(fā)明專利]一種基于手機(jī)攝像頭和傳感器的多模態(tài)室內(nèi)測(cè)距及定位方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810285906.0
• 申請(qǐng)日: 2018-03-28
• 公開(kāi)（公告）號(hào): CN109059895B
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 趙彥超;徐婧;錢紅燕
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G01C21/00
• 分類號(hào): G01C21/00;G01C21/16;G01C11/00;G01C11/08;H04W4/021;H04W4/33
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開(kāi)了一種基于手機(jī)攝像頭和傳感器的多模態(tài)室內(nèi)測(cè)距及定位方法。通過(guò)融合智能手機(jī)的多種類型數(shù)據(jù)尋求更易部署、更精準(zhǔn)的定位策略。本發(fā)明克服了基于單目攝像機(jī)定位的尺度不確定和漂移問(wèn)題，并改善了傳感器定位方法的誤差累積。包括以下步驟：(1)參考內(nèi)置傳感器數(shù)據(jù)劃分檢測(cè)的目標(biāo)區(qū)域，并匹配圖像特征點(diǎn)；(2)根據(jù)特征匹配結(jié)果計(jì)算圖像間的變換矩陣，矯正圖像角度以確保其與用戶拍攝朝向的一致性；(3)識(shí)別圖像中的多目標(biāo)物體并輸出其在圖像空間的坐標(biāo)；(4)利用傳感器數(shù)據(jù)對(duì)提取的運(yùn)動(dòng)特征及圖像信息進(jìn)行校正；(5)基于上述步驟測(cè)量結(jié)果，求解用戶到圖像中物體的實(shí)際角度及距離，實(shí)現(xiàn)定位。

技術(shù)領(lǐng)域

本發(fā)明公開(kāi)了一種基于手機(jī)攝像頭和傳感器的多模態(tài)室內(nèi)測(cè)距及定位方法，主要用于解決在室內(nèi)環(huán)境中結(jié)合圖像、手機(jī)內(nèi)置傳感器以及WiFi信號(hào)等方法進(jìn)行用戶定位的問(wèn)題。本發(fā)明涉及圖像檢測(cè)和無(wú)線網(wǎng)絡(luò)技術(shù)領(lǐng)域，是一種融合多模態(tài)數(shù)據(jù)進(jìn)行室內(nèi)測(cè)距及定位的優(yōu)化方法。

背景技術(shù)

隨著更多物聯(lián)網(wǎng)設(shè)備如智能手機(jī)、平板電腦、可穿戴設(shè)備等性能的飛速增長(zhǎng)，和基于定位的應(yīng)用增加，位置感知發(fā)揮了越來(lái)越重要的作用。其中，室外位置服務(wù)已經(jīng)成熟，基于GPS和地圖的位置服務(wù)被廣泛應(yīng)用，并成為各種移動(dòng)設(shè)備被使用最多的應(yīng)用之一。然而，室內(nèi)環(huán)境下的定位一直是一個(gè)很多問(wèn)題未被解決的領(lǐng)域。

為解決這些問(wèn)題，文獻(xiàn)1(Indoor localization via multi-modal sensing onsmartphones)提出首先使用傳感器數(shù)據(jù)(WiFi和慣性測(cè)量)估計(jì)粗略位置，然后通過(guò)室內(nèi)幾何推理來(lái)利用語(yǔ)義信息，最后將候選圖像與查詢圖像匹配以返回估計(jì)位置。該方法加快了基于圖像的本地化流程，但構(gòu)建數(shù)據(jù)庫(kù)的復(fù)雜度和成本較高。文獻(xiàn)2(CrowdMap：AccurateReconstruction of Indoor Floor Plans from Crowdsourced Sensor-Rich Videos)提出結(jié)合手機(jī)IMU傳感器和視頻數(shù)據(jù)跟蹤攝像頭位置，進(jìn)而進(jìn)行用戶定位和場(chǎng)景重建。其特點(diǎn)是設(shè)計(jì)一個(gè)基于多類傳感器的分層系統(tǒng)，逐步篩選精度高的定位數(shù)據(jù)。但它預(yù)設(shè)幾百個(gè)房間的平面布局和場(chǎng)景信息，復(fù)雜度較高，通用性不強(qiáng)。

專利1(一種單目測(cè)距定位檢測(cè)系統(tǒng)及其檢測(cè)方法)提出在圖像中檢測(cè)人臉信息，計(jì)算人臉圖像對(duì)應(yīng)的目標(biāo)人物到圖像傳感器之間的距離來(lái)進(jìn)行定位。該方法精度較高但需要存儲(chǔ)場(chǎng)所關(guān)聯(lián)人物的全部人臉圖像信息，并且不斷迭代調(diào)整距離閾值，計(jì)算量較大。專利2(一種基于點(diǎn)特征的單目視覺(jué)位姿測(cè)量方法)提出以攝像機(jī)作為測(cè)量傳感器，配合特殊的點(diǎn)特征合作標(biāo)志器組成測(cè)量系統(tǒng)，通過(guò)圖像處理找到滿足標(biāo)志器模型約束的特征點(diǎn)區(qū)域，利用P3P方法實(shí)現(xiàn)物體間的相對(duì)位置測(cè)量。該方法適用于復(fù)雜多變的背景和光照條件，但最終測(cè)量的是兩個(gè)物體間的相對(duì)距離及位姿，對(duì)用戶這個(gè)目標(biāo)對(duì)象的特征處理不夠明確。

本發(fā)明的意義在于不同于以往的室內(nèi)定位的研究，在目標(biāo)測(cè)距及定位的最終目標(biāo)下，如果僅利用智能手機(jī)單目攝像頭采集的圖像，基于圖像空間和物理空間的幾何變換關(guān)系進(jìn)行位置估算，會(huì)導(dǎo)致定位依賴特定環(huán)境、可移植性低的問(wèn)題；單純的利用傳感器數(shù)據(jù)進(jìn)行位置推算，會(huì)產(chǎn)生內(nèi)在誤差累積。所以，本發(fā)明不拘泥于對(duì)特定的環(huán)境和應(yīng)用采取有針對(duì)性的方案，而是著重于考慮用傳感器數(shù)據(jù)補(bǔ)充單目定位中的距離和尺度信息，用單目采集的圖像特征提高傳感器定位中的準(zhǔn)確率。這個(gè)思路，一方面豐富了定位中的場(chǎng)景特征；另一方面提高了處理運(yùn)動(dòng)數(shù)據(jù)的效率，有助于實(shí)現(xiàn)實(shí)時(shí)性、可靠性更強(qiáng)的室內(nèi)定位系統(tǒng)。本發(fā)明采用通用性良好的定位模型，為用戶輸出其相對(duì)單個(gè)或多個(gè)物體的位置，為深度提取以及場(chǎng)景重建等應(yīng)用領(lǐng)域提供了新的可能性。

發(fā)明內(nèi)容

[發(fā)明目的]：本發(fā)明主要解決利用手機(jī)單目攝像頭及其內(nèi)置傳感器對(duì)用戶進(jìn)行室內(nèi)測(cè)距及定位的問(wèn)題。

[技術(shù)方案]：本發(fā)明的解決方案主要包括以下內(nèi)容：

(1)圖像數(shù)據(jù)處理：

圖像數(shù)據(jù)模塊是整個(gè)系統(tǒng)處理過(guò)程的重要分支之一，為后續(xù)的定位模型提供了基本信息，主要包含以下步驟：特征匹配、變換矩陣計(jì)算以及目標(biāo)的分類及檢測(cè)。