[發(fā)明專利]智能移動終端的室內(nèi)定位方法、裝置與電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201911337425.0
• 申請日: 2019-12-23
• 公開（公告）號: CN111199564A
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計）人: 李子申;劉振耀;吳海濤;潘軍道;李瑞東
• 申請（專利權(quán)）人: 中國科學(xué)院光電研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/00;G06K9/62
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 鄭朝然

1.一種智能移動終端的室內(nèi)定位方法，其特征在于，包括：

獲取通過智能移動終端拍攝的室內(nèi)圖像，并利用預(yù)先建立的目標(biāo)檢測模型，對所述室內(nèi)圖像進(jìn)行目標(biāo)檢測，獲取包含目標(biāo)物體的圖像；

獲取所述包含目標(biāo)物體的圖像的特征點信息，并根據(jù)預(yù)先構(gòu)建的特征點數(shù)據(jù)庫，進(jìn)行圖像特征點匹配，獲取所述包含目標(biāo)物體的圖像對應(yīng)的位姿信息；

基于所述位姿信息，對所述智能移動終端進(jìn)行室內(nèi)定位；

其中，所述目標(biāo)檢測模型為預(yù)先利用采集的室內(nèi)場景中可識別目標(biāo)的圖像數(shù)據(jù)進(jìn)行訓(xùn)練獲取的，所述特征點數(shù)據(jù)庫為預(yù)先通過對移動測量系統(tǒng)采集的帶有位姿信息的圖像進(jìn)行特征點提取構(gòu)建而成的。

2.根據(jù)權(quán)利要求1所述的智能移動終端的室內(nèi)定位方法，其特征在于，在所述進(jìn)行圖像特征點匹配的步驟之前，還包括：

構(gòu)建所述移動測量系統(tǒng)，搭載多線激光、全景相機(jī)、慣性導(dǎo)航設(shè)備和同步控制器，并利用所述移動測量系統(tǒng)，采集室內(nèi)場景的三維點云數(shù)據(jù)和影像數(shù)據(jù)；

基于所述三維點云數(shù)據(jù)和影像數(shù)據(jù)，利用多傳感器融合的SLAM算法，計算所述影像數(shù)據(jù)對應(yīng)的絕對位姿；

基于所述影像數(shù)據(jù)對應(yīng)的絕對位姿和相機(jī)內(nèi)參信息，計算約定描述子的視覺特征點，并基于所述約定描述子的視覺特征點，依次進(jìn)行特征點匹配、特征點三角化和光束平差運(yùn)算，獲取所述視覺特征點的三維坐標(biāo)；

基于所述三維坐標(biāo)，得到已知三維坐標(biāo)的視覺特征點，并基于所述已知三維坐標(biāo)的視覺特征點，構(gòu)建所述特征點數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求1或2所述的智能移動終端的室內(nèi)定位方法，其特征在于，在所述對所述室內(nèi)圖像進(jìn)行目標(biāo)檢測的步驟之前，還包括：

采集室內(nèi)場景中給定量的可識別目標(biāo)的圖像數(shù)據(jù)，并對所述可識別目標(biāo)的圖像數(shù)據(jù)進(jìn)行目標(biāo)圖像標(biāo)注，構(gòu)成訓(xùn)練樣本；

初始化構(gòu)建目標(biāo)檢測初始模型，并利用所述訓(xùn)練樣本，對初始化的目標(biāo)檢測初始模型進(jìn)行循環(huán)迭代訓(xùn)練，獲取所述目標(biāo)檢測模型。

4.根據(jù)權(quán)利要求1或2所述的智能移動終端的室內(nèi)定位方法，其特征在于，所述目標(biāo)檢測模型具體為Mask-RCNN實例分割模型、特征匹配算法模型、詞典模型或者深度信念網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求1或2所述的智能移動終端的室內(nèi)定位方法，其特征在于，具體采用PnP算法進(jìn)行所述包含目標(biāo)物體的圖像的位姿解算，相應(yīng)的，所述獲取所述包含目標(biāo)物體的圖像對應(yīng)的位姿信息的步驟具體包括：

將所述包含目標(biāo)物體的圖像的特征點信息與所述特征點數(shù)據(jù)庫中各特征點進(jìn)行SIFT特征匹配，獲取匹配的2D-3D關(guān)鍵點對和描述子數(shù)組；

隨機(jī)選取至少六組2D-3D關(guān)鍵點對，利用PnP算法中的DLT算法，根據(jù)選取的2D-3D關(guān)鍵點對和所述描述子數(shù)組，求解投影矩陣，并利用所述投影矩陣，計算其余未被選取的3D點相對應(yīng)的2D點坐標(biāo)，并求取計算出的2D點與所述未被選取的3D點對應(yīng)的原始2D點間的位置誤差，以通過判斷所述位置誤差是否在設(shè)定閾值范圍內(nèi)，求取選取的2D-3D關(guān)鍵點對的內(nèi)點個數(shù)；

循環(huán)執(zhí)行所述隨機(jī)選取至少六組2D-3D關(guān)鍵點對至所述求取選取的2D-3D關(guān)鍵點對的內(nèi)點個數(shù)的步驟，直至循環(huán)次數(shù)達(dá)到設(shè)定總次數(shù)，獲取內(nèi)點個數(shù)最多的一組2D-3D關(guān)鍵點對，并根據(jù)內(nèi)點個數(shù)最多的一組2D-3D關(guān)鍵點對，生成所述智能移動終端的位置結(jié)果矩陣。

6.根據(jù)權(quán)利要求4所述的智能移動終端的室內(nèi)定位方法，其特征在于，當(dāng)采用Mask-RCNN實例分割模型時，所述對所述室內(nèi)圖像進(jìn)行目標(biāo)檢測的步驟具體包括：

利用Mask-RCNN網(wǎng)絡(luò)中的卷積網(wǎng)絡(luò)層和區(qū)域建議網(wǎng)絡(luò)層，處理所述室內(nèi)圖像，獲取初始特征圖；

利用Mask-RCNN網(wǎng)絡(luò)中的ROI-Align網(wǎng)絡(luò)層，對所述初始特征圖進(jìn)行區(qū)域特征聚類分析，并對聚類結(jié)果分別進(jìn)行卷積操作、全連接操作及分類處理，獲取所述目標(biāo)物體在所述室內(nèi)圖像中的位置及對所述目標(biāo)物體的分類結(jié)果；

基于所述分類結(jié)果和所述在所述室內(nèi)圖像中的位置，利用Mask-RCNN網(wǎng)絡(luò)中的全連接層，輸出所述目標(biāo)物體的掩碼圖像。