[發(fā)明專利]一種盲人導(dǎo)航方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110355669.2
• 申請(qǐng)日: 2021-04-01
• 公開（公告）號(hào): CN113029154B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 高坤倫;劉小青;俞益洲;李一鳴;喬昕
• 申請(qǐng)（專利權(quán)）人: 北京深睿博聯(lián)科技有限責(zé)任公司;杭州深睿博聯(lián)科技有限公司
• 主分類號(hào): G01C21/20
• 分類號(hào): G01C21/20;G01S19/45;G06N3/04;G06N3/08
• 代理公司: 北京天方智力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11719
• 代理人: 路遠(yuǎn)

1.一種盲人導(dǎo)航方法，其特征在于，包括以下步驟：

根據(jù)當(dāng)前手持終端的視頻模塊拍攝的視頻圖像進(jìn)行障礙物檢測(cè)；

根據(jù)當(dāng)前手持終端的GPS模塊輸出的當(dāng)前位置信息、歷史位置信息和其它手持終端的歷史位置信息，對(duì)當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測(cè)：在當(dāng)前手持終端行走的起始點(diǎn)與當(dāng)前點(diǎn)之間的路徑上選取多個(gè)關(guān)鍵位置作為頂點(diǎn)，以頂點(diǎn)之間的連線作為邊，以兩個(gè)頂點(diǎn)之間行走時(shí)間的倒數(shù)作為邊的權(quán)重，并增加其它手持終端位于所述起始點(diǎn)與當(dāng)前點(diǎn)之間的行走數(shù)據(jù)，得到所有路徑組成的圖；利用圖神經(jīng)網(wǎng)絡(luò)對(duì)所述圖進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對(duì)當(dāng)前手持終端行進(jìn)方向的預(yù)測(cè)；

融合障礙物檢測(cè)結(jié)果和基于位置信息的預(yù)測(cè)結(jié)果，對(duì)當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測(cè)。

2.根據(jù)權(quán)利要求1所述的盲人導(dǎo)航方法，其特征在于，所述障礙物檢測(cè)的方法包括：

將所述視頻圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet-50進(jìn)行特征提取，基于YOLO-V4算法進(jìn)行障礙物檢測(cè)。

3.根據(jù)權(quán)利要求1所述的盲人導(dǎo)航方法，其特征在于，所述方法還包括：根據(jù)當(dāng)前手持終端的紅外模塊的發(fā)射信號(hào)和接收信號(hào)進(jìn)行障礙物檢測(cè)；障礙物檢測(cè)結(jié)果用于與基于圖像的障礙物檢測(cè)結(jié)果和基于位置信息的預(yù)測(cè)結(jié)果融合，實(shí)現(xiàn)當(dāng)前手持終端行進(jìn)方向的預(yù)測(cè)。

4.根據(jù)權(quán)利要求3所述的盲人導(dǎo)航方法，其特征在于，通過(guò)將所述發(fā)射信號(hào)和接收信號(hào)輸入到一個(gè)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，實(shí)現(xiàn)障礙物檢測(cè)。

5.一種盲人導(dǎo)航裝置，其特征在于，包括：

圖像檢測(cè)模塊，用于根據(jù)當(dāng)前手持終端的視頻模塊拍攝的視頻圖像進(jìn)行障礙物檢測(cè)；

位置預(yù)測(cè)模塊，用于根據(jù)當(dāng)前手持終端的GPS模塊輸出的當(dāng)前位置信息、歷史位置信息和其它手持終端的歷史位置信息，對(duì)當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測(cè)：在當(dāng)前手持終端行走的起始點(diǎn)與當(dāng)前點(diǎn)之間的路徑上選取多個(gè)關(guān)鍵位置作為頂點(diǎn)，以頂點(diǎn)之間的連線作為邊，以兩個(gè)頂點(diǎn)之間行走時(shí)間的倒數(shù)作為邊的權(quán)重，并增加其它手持終端位于所述起始點(diǎn)與當(dāng)前點(diǎn)之間的行走數(shù)據(jù)，得到所有路徑組成的圖；利用圖神經(jīng)網(wǎng)絡(luò)對(duì)所述圖進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對(duì)當(dāng)前手持終端行進(jìn)方向的預(yù)測(cè)；

融合預(yù)測(cè)模塊，用于通過(guò)融合障礙物檢測(cè)結(jié)果和基于位置信息的預(yù)測(cè)結(jié)果，對(duì)當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測(cè)。

6.根據(jù)權(quán)利要求5所述的盲人導(dǎo)航裝置，其特征在于，所述圖像檢測(cè)模塊進(jìn)行障礙物檢測(cè)的方法包括：

將所述視頻圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet-50進(jìn)行特征提取，基于YOLO-V4算法進(jìn)行障礙物檢測(cè)。

7.根據(jù)權(quán)利要求5所述的盲人導(dǎo)航裝置，其特征在于，所述裝置還包括紅外檢測(cè)模塊，用于根據(jù)當(dāng)前手持終端的紅外模塊的發(fā)射信號(hào)和接收信號(hào)進(jìn)行障礙物檢測(cè)；障礙物檢測(cè)結(jié)果用于與基于圖像的障礙物檢測(cè)結(jié)果和基于位置信息的預(yù)測(cè)結(jié)果融合，實(shí)現(xiàn)當(dāng)前手持終端行進(jìn)方向的預(yù)測(cè)。

8.根據(jù)權(quán)利要求7所述的盲人導(dǎo)航裝置，其特征在于，所述紅外檢測(cè)模塊通過(guò)將所述發(fā)射信號(hào)和接收信號(hào)輸入到一個(gè)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，實(shí)現(xiàn)障礙物檢測(cè)。