[發(fā)明專利]一種盲人導(dǎo)航方法及裝置

有效

• 申請?zhí)枺?/td>: 202110355669.2
• 申請日: 2021-04-01
• 公開（公告）號: CN113029154B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 高坤倫;劉小青;俞益洲;李一鳴;喬昕
• 申請（專利權(quán)）人: 北京深睿博聯(lián)科技有限責(zé)任公司;杭州深睿博聯(lián)科技有限公司
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01S19/45;G06N3/04;G06N3/08
• 代理公司: 北京天方智力知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11719
• 代理人: 路遠(yuǎn)

本發(fā)明提供一種盲人導(dǎo)航方法及裝置。所述方法包括：根據(jù)當(dāng)前手持終端的視頻模塊拍攝的視頻圖像進(jìn)行障礙物檢測；根據(jù)當(dāng)前手持終端的GPS模塊輸出的當(dāng)前位置信息、歷史位置信息和其它手持終端的歷史位置信息，對當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測；融合障礙物檢測結(jié)果和基于位置信息的預(yù)測結(jié)果，對當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測。本發(fā)明基于多模態(tài)融合進(jìn)行導(dǎo)航預(yù)測；基于位置信息的預(yù)測方法，不但利用當(dāng)前手持終端的歷史數(shù)據(jù)，還融合了其它手持終端在與當(dāng)前手持終端相同路段的歷史數(shù)據(jù)，明顯提高了模型的精度，從而提高了導(dǎo)航精度。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)、互聯(lián)網(wǎng)和人工智能技術(shù)領(lǐng)域，具體涉及一種盲人導(dǎo)航方法及裝置。

背景技術(shù)

根據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果，我國視力殘疾人數(shù)超過1260萬人。而根據(jù)世界衛(wèi)生組織估算，全球?qū)嶋H殘疾人數(shù)約為2.8億人，其中全盲人士超過3900萬人。城市發(fā)展步伐加快，城市交通路況復(fù)雜且更新速度加快，傳統(tǒng)的盲人導(dǎo)航系統(tǒng)很難滿足實(shí)時性和準(zhǔn)確性的需求，無法為盲人出行帶來足夠的安全保障和效率提升。一直以來，國內(nèi)外學(xué)者和研究人員針對構(gòu)建更加智能的盲人導(dǎo)航系統(tǒng)做出了諸多研究。有學(xué)者利用3G無線網(wǎng)絡(luò)和GPS構(gòu)建盲人導(dǎo)航服務(wù)系統(tǒng)，盲人導(dǎo)航終端將盲人當(dāng)前地理位置和前往目的地信息通過3G網(wǎng)絡(luò)上傳到數(shù)據(jù)服務(wù)中心，數(shù)據(jù)服務(wù)中心計算得到最短出行路線后返回給終端，從而達(dá)到導(dǎo)航服務(wù)的目的。還有學(xué)者利用在盲道上嵌入定位芯片，遠(yuǎn)程協(xié)助平臺利用定位芯片位置信息繪制出盲人專用的電子地圖，從而能夠精準(zhǔn)地向終端發(fā)出最佳導(dǎo)航線路，有效緩解了常規(guī)GPS方法帶來的定位不準(zhǔn)確問題。同樣為了緩解GPS不夠精準(zhǔn)的問題，有研究人員提出一種基于物聯(lián)網(wǎng)環(huán)境的盲人導(dǎo)航系統(tǒng)，在盲人手杖底端裝入RFID射頻識別模塊，對盲道上設(shè)置的RFID電子標(biāo)簽進(jìn)行識別，并通過無線網(wǎng)絡(luò)實(shí)現(xiàn)和手持終端的通信連接，手持終端根據(jù)RFID識別結(jié)果進(jìn)行路徑推薦和規(guī)劃。

上述現(xiàn)有導(dǎo)航系統(tǒng)存在一個共同問題，那就是基于單個終端的歷史數(shù)據(jù)建模實(shí)現(xiàn)導(dǎo)航算法，沒有融合多個終端在相同路段的歷史數(shù)據(jù)，可利用的數(shù)據(jù)樣本較少，模型精度不高，很難滿足復(fù)雜路況下盲人的導(dǎo)航需求。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供一種盲人導(dǎo)航方法及裝置。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案。

第一方面，本發(fā)明提供一種盲人導(dǎo)航方法，包括：

根據(jù)當(dāng)前手持終端的視頻模塊拍攝的視頻圖像進(jìn)行障礙物檢測；

根據(jù)當(dāng)前手持終端的GPS模塊輸出的當(dāng)前位置信息、歷史位置信息和其它手持終端的歷史位置信息，對當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測；

融合障礙物檢測結(jié)果和基于位置信息的預(yù)測結(jié)果，對當(dāng)前手持終端的行進(jìn)方向進(jìn)行預(yù)測。

進(jìn)一步地，所述障礙物檢測的方法包括：

將所述視頻圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet-50進(jìn)行特征提取，基于YOLO-V4算法進(jìn)行障礙物檢測。

進(jìn)一步地，基于位置信息的預(yù)測方法包括：

在當(dāng)前手持終端行走的起始點(diǎn)與當(dāng)前點(diǎn)之間的路徑上選取多個關(guān)鍵位置作為頂點(diǎn)，以頂點(diǎn)之間的連線作為邊，以兩個頂點(diǎn)之間行走時間的倒數(shù)作為邊的權(quán)重，并增加其它手持終端位于所述起始點(diǎn)與當(dāng)前點(diǎn)之間的行走數(shù)據(jù)，得到所有路徑組成的圖；利用圖神經(jīng)網(wǎng)絡(luò)對所述圖進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對當(dāng)前手持終端行進(jìn)方向的預(yù)測。

進(jìn)一步地，所述方法還包括：根據(jù)當(dāng)前手持終端的紅外模塊的發(fā)射信號和接收信號進(jìn)行障礙物檢測；障礙物檢測結(jié)果用于與基于圖像的障礙物檢測結(jié)果和基于位置信息的預(yù)測結(jié)果融合，實(shí)現(xiàn)當(dāng)前手持終端行進(jìn)方向的預(yù)測。

更進(jìn)一步地，通過將所述發(fā)射信號和接收信號輸入到一個長短時記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，實(shí)現(xiàn)障礙物檢測。

第二方面，本發(fā)明提供一種盲人導(dǎo)航裝置，包括：