[發(fā)明專(zhuān)利]基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710280545.6
• 申請(qǐng)日: 2017-04-26
• 公開(kāi)（公告）號(hào): CN107131883B
• 公開(kāi)（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 劉寧;李明寬;牛群;劉暢
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G01C21/20
• 分類(lèi)號(hào): G01C21/20
• 代理公司: 廣州凱東知識(shí)產(chǎn)權(quán)代理有限公司 44259
• 代理人: 羅丹

1.一種基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位系統(tǒng)，其特征在于包括：

圖像數(shù)據(jù)庫(kù)，從互聯(lián)網(wǎng)獲取一部分目標(biāo)室內(nèi)場(chǎng)景的圖像，標(biāo)注出圖像中ROI區(qū)域以及它們?cè)谑覂?nèi)地圖上的坐標(biāo)后構(gòu)建而成；

深度學(xué)習(xí)模塊，使用圖像數(shù)據(jù)庫(kù)訓(xùn)練快速區(qū)域提取卷積神經(jīng)網(wǎng)絡(luò)模型以及深度卷積神經(jīng)網(wǎng)絡(luò)模型；

圖像匹配模塊，接收移動(dòng)設(shè)備采集的視頻數(shù)據(jù)，在視頻中提取ROI區(qū)域并對(duì)ROI區(qū)域進(jìn)行匹配，并根據(jù)視頻的連續(xù)性針對(duì)ROI序列進(jìn)行過(guò)濾以提高匹配準(zhǔn)確率；

定位模塊，用于將圖像匹配模塊中提取的ROI序列與傳感器數(shù)據(jù)進(jìn)行結(jié)合，考慮傳感器的誤差后建立優(yōu)化模型估算出設(shè)備在室內(nèi)場(chǎng)景中的位置。

2.如權(quán)利要求1所述的基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位系統(tǒng)，其特征在于：

所述圖像匹配模塊包括關(guān)鍵幀提取模塊、ROI匹配模塊以及ROI序列過(guò)濾模塊；

關(guān)鍵幀提取模塊用于通過(guò)訓(xùn)練一個(gè)快速區(qū)域提取卷積神經(jīng)網(wǎng)絡(luò)以在視頻圖像中提取ROI區(qū)域，并將ROI區(qū)域位于視野中間的幀定義為關(guān)鍵幀；

ROI匹配模塊用于在圖形數(shù)據(jù)庫(kù)中找到與視頻中提取出的ROI區(qū)域以及它們?cè)趯?shí)際的坐標(biāo)；

ROI序列過(guò)濾模塊用于過(guò)濾一部分可能存在的匹配錯(cuò)誤的結(jié)果，提高匹配準(zhǔn)確率。

3.如權(quán)利要求1所述的基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位系統(tǒng)，其特征在于：

還包括增量構(gòu)建圖像數(shù)據(jù)庫(kù)模塊，利用用戶上傳的定位成功的視頻，找出在數(shù)據(jù)庫(kù)中沒(méi)有的ROI并把這些ROI的位置與矩形區(qū)域圖像更新到數(shù)據(jù)庫(kù)中，使得數(shù)據(jù)庫(kù)得到及時(shí)的更新和維護(hù)，使定位系統(tǒng)更加穩(wěn)定。

4.一種基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位方法，其特征在于包括以下步驟：

在離線階段，系統(tǒng)從互聯(lián)網(wǎng)獲取一部分目標(biāo)室內(nèi)場(chǎng)景的圖像，標(biāo)注出圖像中ROI區(qū)域以及它們?cè)谑覂?nèi)地圖上的坐標(biāo)后構(gòu)建圖像數(shù)據(jù)庫(kù)；

通過(guò)深度學(xué)習(xí)模塊，使用圖像數(shù)據(jù)庫(kù)訓(xùn)練快速區(qū)域提取卷積神經(jīng)網(wǎng)絡(luò)模型以及深度卷積神經(jīng)網(wǎng)絡(luò)模型；

在線階段中，通過(guò)圖像匹配模塊接收移動(dòng)設(shè)備采集的視頻數(shù)據(jù)，在視頻中提取ROI區(qū)域并對(duì)ROI區(qū)域進(jìn)行匹配，最后根據(jù)視頻的連續(xù)性針對(duì)ROI序列進(jìn)行過(guò)濾以提高匹配準(zhǔn)確率；

通過(guò)定位模塊，將圖像匹配模塊中提取的ROI序列與傳感器數(shù)據(jù)進(jìn)行結(jié)合，考慮傳感器的誤差后建立優(yōu)化模型估算出設(shè)備在室內(nèi)場(chǎng)景中的位置。

5.如權(quán)利要求4所述的基于視覺(jué)的全自動(dòng)移動(dòng)終端室內(nèi)定位方法，其特征在于所述圖像匹配模塊的設(shè)計(jì)與實(shí)現(xiàn)包括以下步驟：

關(guān)鍵幀提取，訓(xùn)練一個(gè)快速區(qū)域提取卷積神經(jīng)網(wǎng)絡(luò)，在快速區(qū)域提取卷積神經(jīng)網(wǎng)絡(luò)輸出的一個(gè)矩形區(qū)域的集合中選取滿足條件的矩形區(qū)域?yàn)镽OI區(qū)域，以ROI區(qū)域位于視野中間的幀作為關(guān)鍵幀；

ROI匹配，假設(shè)第i個(gè)ROI有N_i個(gè)的矩形區(qū)域，首先第k個(gè)矩形區(qū)域r_i^(k)的FAST特征點(diǎn)，F(xiàn)AST特征點(diǎn)越多表示該矩形區(qū)域的匹配結(jié)果對(duì)ROI匹配結(jié)果的影響越大，然后按照公式二根據(jù)FAST特征點(diǎn)個(gè)數(shù)計(jì)算r_i^(k)的概率最后按照公式三綜合計(jì)算出該ROI對(duì)應(yīng)數(shù)據(jù)庫(kù)中第j類(lèi)的概率其中：

公式二：

公式三：

ROI序列過(guò)濾，首先過(guò)濾不滿足|r_i-1r_i|+|r_ir_i+1|-|r_i-1r_i+1|＜ò的ROI區(qū)域r_i，其中ò為距離差的閾值，然后計(jì)算出可能的最長(zhǎng)ROI序列，與視頻中提取出的ROI序列進(jìn)行比較選取最長(zhǎng)公共子序列為ROI序列過(guò)濾結(jié)果。