[發明專利]一種聽力障礙者輔助系統、方法及存儲介質

在審

• 申請號: 202111175059.0
• 申請日: 2021-10-09
• 公開（公告）號: CN113971632A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 褚雯珊;王玫;劉鑫
• 申請（專利權）人: 桂林理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11;G06V30/41;G06F3/01
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 尉保芳

1.一種聽力障礙者輔助系統，包括VR眼鏡，其特征在于，設置在所述VR眼鏡的圖像采集裝置、音頻數據采集裝置和數據處理裝置，

所述圖像采集裝置用于從攝像頭中采集外界圖像，得到原始圖像；

所述音頻數據采集裝置用于從麥克風中采集音頻數據，得到原始音頻數據；

所述數據處理裝置用于對所述原始圖像進行圖像預處理，得到目標圖像；

對所述原始音頻數據進行音頻轉換文字的分析，得到音頻轉換結果，并將所述目標圖像和所述音頻轉換結果一并作為所述VR眼鏡中的顯示結果。

2.根據權利要求1所述的聽力障礙者輔助系統，其特征在于，所述數據處理裝置中，對所述原始圖像進行圖像預處理，得到目標圖像的過程包括：

利用雙線性插值算法對所述原始圖像進行剪裁，得到多個剪裁后的圖像；

對多個所述剪裁后的圖像進行圖像拼接，得到目標圖像。

3.根據權利要求1所述的聽力障礙者輔助系統，其特征在于，所述數據處理裝置中，對所述原始音頻數據進行音頻轉換文字的分析，得到音頻轉換結果的過程包括：

對所述原始音頻數據進行聲壓級的分析，得到聲壓級；

對所述原始音頻數據進行文字識別的分析，得到識別文字信息；

利用FrameLayout工具對所述聲壓級和所述識別文字信息進行數字的堆疊，得到音頻轉換結果。

4.根據權利要求3所述的聽力障礙者輔助系統，其特征在于，所述數據處理裝置中，對所述原始音頻數據進行聲壓級的分析，得到聲壓級的過程包括：

對所述原始音頻數據進行FFT離散傅里葉變換，得到離散數據；

提取所述離散數據的頻域上的幅值，得到音頻幅值；

利用A加權濾波器對所述音頻幅值進行濾波，得到平均能量；

提取所述平均能量的對數，得到初始聲壓級；

對所述初始聲壓級進行偏移量的校準，得到聲壓級。

5.根據權利要求3所述的聽力障礙者輔助系統，其特征在于，所述原始音頻數據包括語音信號，所述數據處理裝置中，對所述原始音頻數據進行文字識別的分析，得到識別文字信息的過程包括：

對所述語音信號進行分幀加窗的分析，得到多個加窗后分幀信號；

利用快速傅里葉變換算法分別對各個所述加窗后分幀信號進行頻域轉換，得到與各個所述加窗后分幀信號對應的頻譜；

分別對各個所述頻譜進行語音特征參數的分析，得到與各個所述加窗后分幀信號對應的語音特征參數，集合所有的語音特征參數得到語音特征參數集合；

通過全連接神經網絡對所述語音特征參數集合進行識別，得到與各個所述語音特征參數對應的后驗概率；

篩選出多個后驗概率的最大值，篩選得到最大后驗概率，并將所述最大后驗概率對應的語音特征參數與預設文字信息數據庫中的預設語音特征參數進行匹配，若匹配成功，則將所述預設語音特征參數對應的預設文字信息作為識別文字信息。

6.根據權利要求5所述的聽力障礙者輔助系統，其特征在于，所述數據處理裝置中，對所述語音信號進行分幀加窗的分析，得到多個加窗后分幀信號的過程包括：

利用高通濾波器對所述語音信號進行濾波，得到濾波后的語音信號；

對所述濾波后的語音信號進行時域的變換，得到變換后的語音信號；

對所述變換后的語音信號進行分幀處理，得到多個分幀信號；

導入窗函數，并利用漢明窗算法分別對各個所述分幀信號和所述窗函數進行加窗處理，得到與各個所述分幀信號對應的加窗后分幀信號。