[發明專利]一種基于深度學習的盲人輔助用頭戴裝置及其使用方法

在審

• 申請號: 202110758757.7
• 申請日: 2021-07-05
• 公開（公告）號: CN113440389A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 佟國新
• 申請（專利權）人: 佟國新
• 主分類號: A61H3/06
• 分類號: A61H3/06;G06F30/27;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：包括控制模組(6)和語音識別模組(7)，所述語音識別模組(7)下方固定有頭戴夾腳(1)，所述語音識別模組(7)包括橫向卡帶(10)、揚聲器(5)、語音識別控制板和若干個USB轉TTL接口，語音識別控制板固定在所述橫向卡帶(10)和所述揚聲器(5)之間，且若干個USB轉TTL接口焊接在語音識別控制板內側，所述控制模組(6)包括彎曲座(4)、拆卸螺口(9)、控制主板和填充海綿(11)，所述彎曲座(4)下方固定有所述拆卸螺口(9)，且控制主板外側包裹有亞力克板，亞克力板外側包裹有所述填充海綿(11)，所述彎曲座(4)上方設定有頂部調整機構，頂部調整機構包括頭戴彎梁(2)、固定卡口(3)和頂部填充體(8)，所述頭戴彎梁(2)底部末端分別連接有所述固定卡口(3)，且所述頭戴彎梁(2)下方填充有所述頂部填充體(8)。

2.根據權利要求1所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述頂部填充體(8)內部設置有神經網絡運行模組(13)，所述神經網絡運行模組(13)包括神經網絡運行主控板、橫向管(14)、出風口(12)、集線口(15)、插入柱(18)、拆卸板(17)和通信總線(16)，且神經網絡運行主控板安裝在所述拆卸板(17)底部。

3.根據權利要求2所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：兩側的所述插入柱(18)上方安裝有所述集線口(15)，且所述集線口(15)的總線連接在所述通信總線(16)上。

4.根據權利要求2所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述通信總線(16)的末端接口上至少設置有兩個SPI和IIC接口，且所述通信總線(16)貫穿在所述橫向管(14)內部。

5.根據權利要求2所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述拆卸板(17)下方的神經網絡運行主控板通過CAN通信總線連接在所述控制模組(6)的控制主板上。

6.根據權利要求2所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述插入柱(18)下方插入有側板(20)，所述側板(20)內側通過彎曲折口(19)連接有松緊背(28)。

7.根據權利要求6所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述側板(20)外側安裝有調整裝置(25)，所述調整裝置(25)和所述側板(20)之間固定有卡板(23)。

8.根據權利要求7所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述調整裝置(25)包括凹口(24)、旋鈕(26)和調整面板(27)，所述凹口(24)外側安裝有所述旋鈕(26)，所述旋鈕(26)內部通過UART串口連接有所述調整面板(27)。

9.根據權利要求8所述的一種基于深度學習的盲人輔助用頭戴裝置，其特征在于：所述調整面板(27)下方固定有外PCB板保護殼(22)，所述外PCB板保護殼(22)下方設置有下馳面(21)。

10.一種基于深度學習的盲人輔助用頭戴裝置使用方法，其特征在于，包括使用權利要求1-9中任一項的盲人輔助用頭戴裝置步驟：

S1、首先后端服務器進行Pytorch環境的搭建，然后進行數據集的構建，將道路和紅綠燈數據轉化，能夠將數據轉為Numpy數組即可，通過Numpy數據可以轉化為PyTorch所需的Tensor，對于圖像數據，可以直接通過opencv，Pillow處理，語音數據可以通過scipy和librosa來處理成numpy，然后進行數據的訓練；

S2、初始化卷積神經網絡權值，訓練開始，首先進入輸入訓練集，通過給定輸入向量和給定目標輸出，進行卷積層、池化層和全鏈接層，然后進行目標值的比對，隨后判定輸出偏量是否在范圍內，如果不是在范圍內，隨后進入神經元誤差的計算，隨后計算誤差梯度，此時需要計算出卷積神經網絡輸出值與理想值之間的誤差，當誤差高于理想值時，需要將誤差傳回卷積神經網絡中，并將所有誤差相加，得到卷積神經網絡總誤差。然后更新權值到神經網絡的前期，隨后再次進入卷積層、池化層和全鏈接層判定，如此反復，最后如果輸出偏量在范圍內就完成了訓練；

S3、將訓練好的權重文件導入神經網絡運行模組13中，語音識別模組7進行信號的接收，用戶通過語音進行輸入目的地，導航語音識別過程中，首先需要先收集語音信號，然后對收集到的語音信號處理，并提取語音信號特征，使得導航具有語音識別功能。針對語音信號預加重處理，使盲人說話時使信號的頻譜變得平坦，可以提高導航過程中盲人語音識別的效果，隨后控制模組6進行網絡連接并且規劃當前最優路徑，隨后神經網絡運行模組運行，通過頭戴彎梁2下方的攝像頭模組進行信息數據的采集，然后傳輸到神經網絡運行模組13進行權重文件的調用，分別紅綠燈和道路進行為，然后將信號傳輸到控制模組6；

S4、用戶在行走的時候GPS、超聲波和慣性制導模組分別與控制模組6連接，慣性測量模組包括加速度計和陀螺儀，3個自由度陀螺儀用來測量用戶的三個轉動運動，3個加速度計用來測量用戶的3個平移運動的速度。計算機根據測得的加速度信號計算出用戶的速度和位置數據，隨后聯動超聲波和GPS進行數據的融合，系統所使用的神經網絡控制模組中內建了Opencv環境，可以通過神經網絡算法識別如紅綠燈、人行道、各種障礙物等特定物體，并給予用戶反饋，當前方有障礙物時，助行器會提示用戶注意障礙，當前方交通燈為紅燈時，助行器會提示用戶停止穿越路口，利用機器視覺技術障礙物信息，并利用建立的障礙物檢測模型搜索障礙物位置，利用揚聲器5即時播報，規劃用戶進行行走。