[發明專利]基于快速深度神經網絡和移動智能設備的盲人交通路口輔助方法

有效

• 申請號: 202011531293.8
• 申請日: 2020-12-23
• 公開（公告）號: CN112674998B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 何堅;劉新遠;魏鑫;王欽
• 申請（專利權）人: 北京工業大學
• 主分類號: A61H3/06
• 分類號: A61H3/06;A61F9/08;G06V10/44;G06V10/56;G06V10/82;G06V20/54;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

基于快速深度神經網絡和移動智能設備的盲人交通路口輔助方法屬于電子信息領域。該方法參照其他快速深度神經網絡設計了適用于移動智能設備的神經網絡Q?DNN，通過在網絡中引入優秀的網絡結構，加強了Q?DNN網絡的特征提取能力，減少了冗余的網絡參數。該網絡實現了交通路口重要目標的準確識別以及在移動智能設備上實時運行的要求。其次結合GPS和檢測結果，指引盲人前往斑馬線正確位置。通過檢測斑馬線方向，有效輔助盲人調整行走方向，順利通過斑馬線。根據紅綠燈檢測結果提出基于HSI空間的紅綠燈信號分類方法，解決紅綠燈信號識別問題。最后本發明將以上方法結合，設計了基于移動智能設備的交通路口盲人輔助流程，有效地輔助盲人在交通路口安全順利通行。

技術領域

本發明屬于電子信息領域，是一種基于快速深度神經網絡、可輔助盲人識別交通路口信號燈和斑馬線的輔助方法。

背景技術

據統計，中國有約1730萬盲人，盲人的安全出行備受關注。目前盲人出行使用的輔助工具主要有導盲杖和導盲犬。其中，導盲杖功能單一，探測范圍不廣，獲取信息只能依靠盲人自身的感受，難以在交通路口等復雜場景中提供斑馬線、紅綠燈等有效信息幫助；導盲犬可以引導盲人躲避障礙物，但是其需要經過一系列漫長的訓練，具有價格高昂、數量稀缺等問題。

隨著信息技術快速發展，面向盲人設計開發電子行走輔助(Electronic TravelAids，ETA)設備成為趨勢。目前ETA主要有導盲眼鏡和電子盲杖兩種形態，但是它們需要盲人單獨購買昂貴的專用設備，大多數盲人難以承受其高昂的價格。

近年來隨著移動通訊發展，智能手機、pad等移動智能設備日益普及，逐漸成為盲人日常生活的必備裝備。這些移動終端上配備的攝像頭、北斗/GPS、慣性傳感器等感知設備為開發新型盲人交通路口輔助技術提供了新思路。近年來，深度神經網絡在計算機視覺領域獲得巨大成功，但其復雜的網絡結構和大量的計算參數，需要強大算力支持。移動智能設備計算資源受限，識別交通路口的斑馬線、信號燈需要準確、高效算法的支持。對此，本文設計了可在移動智能設備上高效運行的快速深度神經網絡，輔助盲人快速準確識別交通路口的斑馬線、紅綠燈信號、障礙物等。手機作為功能全面的智能移動設備，已經在盲人群體中普及。本發明將手機穿戴在盲人胸前作為移動可穿戴設備，用以拍攝交通路口場景圖像。利用快速深度神經網絡對交通路口場景做分析處理，最終通過語音指導盲人安全通過交通路口。

發明內容

本發明為了解決上述盲人交通路口輔助方法中設備昂貴復雜，難以使用的問題，提出了一種基于快速深度神經網絡和移動智能設備的盲人交通路口輔助方法。該方法將移動智能設備佩戴于盲人胸前，借助其集成的北斗/GPS感知其行走的位置、朝向信息，并通過攝像頭采集交通路口的斑馬線、紅綠燈等數據，引導盲人準確在斑馬線外等待綠燈通行；其次，參考卷積神經網絡(Convolutional Neural Networks，CNN)架構，設計了快速深度神經網絡Q-DNN(Quick Deep Neural Network)，實現移動智能設備實時準確檢測交通路口中的斑馬線、紅綠燈等交通標識；通過語音或震動方式指導盲人安全通過交通路口。

本發明涉及如下4方面：

(1)利用移動智能設備集成的北斗/GPS位置傳感器獲得盲人行走的位置、朝向信息；結合移動智能設備采集的盲道、斑馬線信息指引盲人準確在斑馬線外等待綠燈通行；

(2)參考卷積神經網絡架構，通過改進卷積層結構，設計實現了快速深度神經網絡Q-DNN。Q-DNN所需計算資源少，在確保算法準確度的同時具有良好的運算效率，使得盲人可以通過移動智能設備檢測交通路口的障礙物、斑馬線和紅綠燈標識，為輔助盲人通過交通路口提供決策支持。

(3)根據Q-DNN檢測出的斑馬線、紅綠燈圖像，提取圖像中的紅綠燈區域，并對該區域做HSI變換，通過統計H數值實現紅綠燈信號準確檢測。

(4)依據紅綠燈檢測結果，并結合北斗/GPS感知其行走的位置、朝向信息，通過語音/震動的方式指導盲人安全通過交通路口。