[發明專利]一種面向邊緣計算的輕量級語音關鍵詞識別方法

有效

• 申請號: 202010087131.3
• 申請日: 2020-02-11
• 公開（公告）號: CN111276125B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 龔征;魏運根;楊順志;葉開
• 申請（專利權）人: 華南師范大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/16;G10L15/18;G10L15/20;G10L15/26;G10L15/34;G10L25/03
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種面向邊緣計算的輕量級語音關鍵詞識別方法，其特征在于，包括下述步驟：

對語音信號進行預處理，剔除噪音信號；

對預處理后的語音信號進行特征提取；

構建輕量級語音關鍵詞識別模型EdgeCRNN，語音關鍵詞識別模型EdgeCRNN采用了首層特征增強方法和輕量級組件；

所述首層特征增強方法具體為：

輕量級語音關鍵詞識別模型首層為卷積層，卷積層主要結構是卷積核，卷積核參數有步長Stride、卷積核尺寸Kernel_Size、padding；所述卷積核選擇3×3卷積核，在模型首層中設置stride為1進行增強和集中特征，特征提取可從第二層開始；其他參數采用默認參數；

卷積操作計算公式如下，其中d代表輸入維度中的一維，其余維度計算類似，m代表卷積核大小，p代表padding大小，s代表步長：

把Conv2D的卷積核數據代入公式中可得輸出特征圖大小為維，特征減半了；Conv2D的卷積核數據代入公式可得輸出特征圖大小為d，因此輸出特征圖大小沒有改變，相當于重復提取特征，過濾掉了無用特征，增強了特征；

所述輕量級組件包括深度可分離卷積和殘差結構；根據深度可分離卷積和殘差結構構造適合語音關鍵詞識別任務的基礎模塊Base-Block和下采樣模塊CRNN-Block，EdgeCRNN模型由一組基礎模塊Base-Block和下采樣模塊CRNN-Block組成，分為三個階段，每個階段的第一個單元步長為2，同一個階段內的其他超參數保持不變，下一個階段的輸出通道數以倍數增加；所述基礎模塊Base-Block，用于重復提取特征，兩分支輸入相同，輸出進行“Add”操作；所述下采樣模塊CRNN-Block，能減小計算量，相對地增大感受野，兩分支輸入相同，輸出采用“Concat”操作；

將提取的特征輸入輕量級語音關鍵詞識別模型，進行語音識別，具體為：

將提取的特征輸入EdgeCRNN模型中，EdgeCRNN采用卷積層提取輸入特征的局部頻域特征、循環神經層提取輸入特征的時域特征，最后由全連接層進行特征分類并輸出結果，在卷積層中采用Relu作為激活函數增加模型表示能力，批量歸一化進行數據處理，交叉熵函數作為損失函數，反向傳播中采用Adam作為優化器；循環神經層中采用LSTM。

2.根據權利要求1所述面向邊緣計算的輕量級語音關鍵詞識別方法，其特征在于，所述預處理具體為：

輸入語音信號文件；

分幀，把整段語音信號切分成長度為30ms的幀，時間位移為10ms；

利用FFT將時域信號轉為頻域信號；

采用多窗譜對分幀后的語音信號進行功率譜估計；

計算譜減增益：

其中P_y(w)為帶噪音信號的功率譜估計，P_n(w)為噪聲功率譜估計，a為過減因子，a越大抑制噪聲效果越好；

增強后的幅度譜：

|x(w)|＝|y(w)|*|g(w)|

其中|y(w)|為在噪音的語音信號,|x(w)|為序列長度；

得到增強后的幅度譜后，加上初始相位θ(w)即可得出在頻域增強后的語音,最后由逆向快速傅里葉變換得到增強后的語音：

y(w)＝|x(w)|θ(w)。

3.根據權利要求?1所述面向邊緣計算的輕量級語音關鍵詞識別方法，其特征在于，在進行特征提取時，采用由LFBE和MFCC的一、二階差分特征的疊加LFBE-Delta作為模型輸入特征，LFBE-Delta特征提取過程如下：

輸入信號進行預加重、分幀和加窗；

快速傅里葉變換；

梅爾濾波器組特征提取；

對所有的梅爾頻譜取對數得到對數濾波器組能量；

對LFBE進行離散余弦變換，提取MFCC系數；

MFCC的一階和二階差分特征提取；

LFBE與Delta和Delta-Delta疊加。