[發明專利]基于瓶頸特征和多尺度多頭注意力機制的語音識別模型建立方法

有效

• 申請號: 201910477034.2
• 申請日: 2019-06-03
• 公開（公告）號: CN110211574B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 韓紀慶;唐海桃;鄭鐵然;鄭貴濱
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/02
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.基于瓶頸特征和多尺度多頭注意力機制的語音識別模型建立方法，其特征在于：所述方法包括以下步驟：

步驟一、利用輸入的樣本FBank語音特征向量X＝(x₁,x₂,...,x_T)對DBN中的RBM網絡進行無監督訓練，得到初始化編碼網絡中前三層連接權重矩陣W₁、W₂、W₃，由這三層連接權重矩陣和一層隨機初始化權值輸出層W₄組成編碼網絡前端的基于DBN的瓶頸特征提取網絡；RBM網絡表示受限玻爾茲曼機；DBN表示深度置信網絡；FBank表示濾波器組；

步驟二、抽取樣本FBank語音特征向量X＝(x₁,x₂,...,x_T)輸入至步驟一的四層瓶頸特征提取網絡中，利用前向計算得到瓶頸特征提取網絡輸出v；然后，根據瓶頸特征提取網絡的輸出v和樣本訓練數據X的實際輸出采用BP算法對瓶頸特征提取網絡進行有監督訓練，以計算四層的瓶頸特征提取網絡的每層權值△W_t^l和偏置的梯度，再對權值和偏置進行迭代更新；

步驟三、將步驟二的四層瓶頸特征提取網絡最后一層輸出層去掉，只保留前三層重新作為編碼網絡的前端，將前端輸出的瓶頸特征序列(v₁,v₂,...,v_n)作為RNN的輸入，此處RNN為編碼網絡的后端，它由兩組基于GRU的多層RNN組成，分別為前向網絡和后向網絡；

則輸入的FBank語音特征向量X經過編碼網絡前端瓶頸特征提取網絡得到瓶頸特征序列(v₁,v₂,...,v_n)，輸出的瓶頸特征序列通過編碼器后端基于GRU的多層RNN得到最終的輸出為高層特征序列(h₁,h₂,...,h_T)；

步驟四、采用多尺度多頭的注意力機制將編碼網絡后端輸出的高層特征序列(h₁,h₂,...,h_T)分別注入不同尺度的卷積核F_i中，并對音素、音節、詞級別的語音基元進行建模，從而得到各自的目標向量ct_o，再將每種模型對應的ct_o作為多尺度多頭注意力網絡中每個頭的解碼RNN網絡的輸入，逐個計算出RNN隱含層狀態序列(s₁,s₂,...,s_o)，以及輸出音素序列(y₁,y₂,...,y_o)；

所述的步驟四中，多尺度多頭注意力模型的注意力網絡構建過程：

采用多尺度多頭的注意力機制，計算序列到序列模型的輸出序列的元素y_o，將特征序列(h₁,h₂,...,h_T)采用不同尺度的卷積核F_i映射成每個頭的注意力機制的一個目標向量ct_o；再將ct_o作為每個頭的注意力網絡后的解碼網絡輸入，逐個計算出循環神經網絡隱含層狀態序列(s₁,s₂,...,s_o)，以及輸出序列(y₁,y₂,...,y_o)；其中，

多尺度多頭注意力模型的單個頭注意力模型，采用注意力機制計算輸出序列位置o∈{1,2,...,O}對應的目標向量ct_o過程如下：

首先，計算輸出序列位置o-1的隱含層狀態s_o-1與時刻t的特征的關聯度，如式(21)所示：

e_o,t＝a(s_o-1,h_t) (21)

其中，a(·)代表注意力網絡，是只含一個隱含層的多層感知器，表示為：

e_o,t＝ω^Ttanh(W[s_o-1,h_t,f_o,t]+b) (22)

f_o＝F_i*α_o-1 (23)

其中，W和b分別為輸入層到隱含層權重矩陣和偏置向量，ω為隱含層到輸出層權重矩陣，F_i為卷積核，對于多尺度多頭的注意力機制，F_i的卷積核大小是不一樣的，每一個頭的卷積部分采用不同大小的卷積濾波器；

多尺度多頭模型不僅采用不同的卷積濾波器參數隨機初始化，使多頭模型形成集成模型，而且不同大小的卷積濾波器代表不同的模型，能夠讓上一時刻的注意力得分在各種模型的監督下進行學習和訓練，得到不同的語音基元模型；卷積濾波器尺寸較小的模型主要代表著音素一級的模型，正常大小的模型主要代表著音節一級的模型，而尺寸較大的模型代表著詞一級的模型；

然后，對所有時刻特征的關聯度進行指數歸一化，歸一化后的數值稱為注意力系數如下：

最后，將注意力系數作為權重，對所有時刻的特征加權求和，得到注意力機制下輸出序列位置o的目標向量ct_o:

采用注意力機制計算目標向量的過程，可以簡記為式(26)：

ct_o＝attention([h₁，h₂，...h_T，s_o-1) (26)

步驟五、使用多尺度多頭注意力網絡中每個頭的注意力網絡所對應的解碼RNN網絡計算輸出序列(y₁,y₂,...,y_o)進行拼接得到新的輸出序列(y₁,y₂,...,y_o)_i；將新的輸出序列采用DNN整合成最終的輸出序列(Y₁,Y₂,...,Y_o)；

所述的步驟五中，使用每個頭的注意力網絡所對應的解碼網絡計算輸出序列(y₁,y₂,...,y_o)在位置o的元素y_o的過程為：

對于多尺度多頭注意力模型的單個頭而言，每個頭的注意力網絡后的解碼網絡在計算輸出序列(y₁,y₂,...,y_o)位置o的元素y_o時，網絡的輸入是多尺度單個注意力網絡生成目標向量ct_o和位置o-1的元素y_o-1，計算過程如下：

首先，解碼網絡依據注意力網絡計算得到目標向量ct_o，并且將ct_o和y_o-1作為基于GRU單元循環神經網絡的輸入，計算循環神經網絡的隱含層狀態s_o,如式(27)所示：

s_o＝GRU(s_o-1,[y_o-1,ct_o]) (27)

然后，給定解碼網絡的隱含層狀態s_o∈R^d作為輸入條件下，通過maxout網絡計算得到音素i的后驗概率maxout網絡的每個隱含層單元有多個候選單元，該網絡從中選擇數值最大的單元作為輸出，計算過程下：

其中，d為輸入隱含層狀態s_o的維度，對應隱含層單元數目，W_i,j∈R^d×m×k和b_i,j∈R^m×k分別為maxout網絡參數矩陣和偏置向量，k為maxout網絡每個隱含層單元的候選單元數，m為輸出層單元數目，在聲學模型中對應輸出音素種類數目；

最后，如式(30)所示，由maxout網絡的輸出層得到輸出向量y_o，y_o第i個分量表示輸出序列位置o上音素i出現的后驗概率；

最終，將所有輸出序列(y₁,y₂,...,y_o)_i采用DNN整合成一個新的輸出序列(Y₁,Y₂,...,Y_o)；

Y_i＝DNN((y₁,y₂,...,y_o)_i) (31)。