[發明專利]一種導盲系統

有效

• 申請號: 202210155257.9
• 申請日: 2022-02-21
• 公開（公告）號: CN114587949B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 程景春;宋佳潔;潘雄;張春熹;高爽;龐陽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: A61H3/06
• 分類號: A61H3/06;G10L15/26;G10L15/22;G06N3/0464;G06N3/048;G06N3/084;G06T7/70;G06V20/54;G06V10/82;G06V10/774;G06V10/74
• 代理公司: 北京天匯航智知識產權代理事務所(普通合伙) 11987
• 代理人: 史繼穎

本發明公開了一種導盲系統，包括視覺取樣模塊、語音交互模塊、本地圖像識別模塊、通訊模塊及遠程信息處理模塊，按鍵控制模塊；采用本地與云端兩相結合對圖片進行識別匹配，主要工作模式為導盲模式和生活模式；導盲模式適用于盲人街道出行，主要實現避障功能；生活模式，適用于盲人在日常生活中進行取物或是觀景等場景。通過本發明的技術方案，能夠解決視覺障礙人士的安全出行問題。

技術領域

本發明涉及一種導盲系統，尤其涉及一種基于輕量級神經網絡的輔助視覺障礙人士出行的導盲系統。

背景技術

視覺障礙患者作為社會的弱勢群體，缺少了一種感知外界的重要途徑，在工作生活中面臨著種種問題。主流的導盲方式，基于超聲探測的導盲儀器以及導盲犬。前者具有探測范圍小，使用環境受限的缺陷，后者數量少，訓練成本高，缺乏普適性。

近年也出現了許多對于新型導盲設備的研究。主要有：射頻識別技術(RFID，RadioFrequency?Identification)、傳感器及機器學習等技術。RFID方法通過對障礙物或其他需要識別判斷的物體植入無源標簽，視覺障礙人士通過指套上內置的RFID模塊接收信息，再將信號傳輸到可穿戴設備的微型機上進行處理，以觸覺或語音的方式反饋給用戶。該方法中的電子標簽可以反復設置，且能在短距離內實現快速識別，但缺點也很明顯，只適用于放置了標簽的特殊環境，無法大面積推廣使用。傳感器的方法常與超聲波探測技術結合。如西班牙研究人員利用蝙蝠聲波定位系統研制的回音定位輔助盲人導航系統；德國康斯坦茨大學的幾名研究生利用微軟的體感外設Kinect制成新型導盲儀；新加坡國立大學的研究者依靠導盲手杖的定位系統及傳感器等內置設備研制出新型導盲手杖以及中科院聲學研究所通信聲學實驗室研制的“超聲波導盲儀和便攜GPS盲人導航系統”等。這種方法擺脫了RFID方法對場景的限制，更具有普適性，也是當今導盲市場的主流方法。但往往難以處理復雜環境，且檢測范圍較小。

上述導盲方式均不能使視覺障礙人士擁有直觀的“視覺”體驗，僅僅停留在測距的層面上，對于障礙物的類別等具體信息難以獲知。近幾年隨著人工智能，神經網絡等技術大力發展，有人將支持向量機，卷積神經網絡等圖像識別手段運用到避障導盲領域中。與傳統導盲方式相比，這種方式功能更加健全，測距范圍也進一步增大，且生產成本降低，通過大量數據集的訓練優化，實現目標的具體識別，在“認知”的基礎上實現避障。

發明內容

為了解決視覺障礙人士安全放心的出行問題，本發明基于計算機視覺里的目標檢測思想，雙目深度估計思想，提出一種基于輕量級神經網絡的輔助視覺障礙人士出行的導盲系統，本發明的具體技術方案如下：

一種導盲系統，在眼鏡的兩個鏡片上分別安裝性能和參數相同的高清攝像頭形成雙目攝像頭，兩個攝像頭關于眼鏡的中軸對稱，兩個攝像頭以設置的固定頻率采集使用者前方的環境圖像，并壓縮為jpeg格式，所述系統還包括視覺取樣模塊、語音交互模塊、本地圖像識別模塊、遠程信息處理模塊、按鍵控制模塊及通訊模塊，其中，

所述視覺取樣模塊，用戶通過語音輸入或按鍵控制選擇對拍攝圖像進行本地處理或遠程處理，根據選擇結果將拍攝的圖像信息傳送至所述本地圖像識別模塊或所述遠程信息處理模塊；

所述語音交互模塊與所述視覺取樣模塊相連，用于語音識別和語音合成，將用戶的語音信息轉化成系統指令下發，同時播報所述本地圖像識別模塊或所述遠程信息處理模塊傳送的txt文本；用戶的手機通過藍牙連接所述導盲系統，能夠通過選用的內置的語音合成芯片將文本信息轉換成語音信息播放，以便及時獲取信息；

所述本地圖像識別模塊，以針對移動和嵌入式設備的輕量級卷積神經網絡為框架，對所述視覺取樣模塊的圖像信息進行特征提取與目標檢測并結合雙目深度估計原理完成距離定位，將檢測結果生成txt文本，根據用戶的選擇傳送至所述語音交互模塊，如果檢測到用戶與障礙物的距離小于設定的安全距離，則直接傳送至所述語音交互模塊；