[發(fā)明專利]采用雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010468219.X
• 申請(qǐng)日: 2020-05-28
• 公開（公告）號(hào): CN111477221B
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 郭武;孫健
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G10L15/16
• 分類號(hào): G10L15/16
• 代理公司: 北京凱特來知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種采用雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，其特征在于，包括：依次設(shè)置的下采樣模塊、位置編碼模塊、堆疊的BTCSAN模塊、上采樣模塊以及輸出層；

所述下采樣模塊，用于對(duì)輸入的原始語音特征序列進(jìn)行下采樣處理來降低序列長度；

位置編碼模塊，用于根據(jù)原始語音特征序列對(duì)應(yīng)的時(shí)長以及系統(tǒng)模型維度來生成位置編碼，再將位置編碼與下采樣結(jié)果疊加后輸出至第一個(gè)BTCSAN模塊；

所述BTCSAN模塊即為雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)，其包括：自注意力機(jī)制網(wǎng)絡(luò)和堆疊的多個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)；通過每一雙向時(shí)序卷積網(wǎng)絡(luò)對(duì)語音特征序列中的位置信息和局部信息進(jìn)行建模，并結(jié)合自注意力機(jī)制網(wǎng)絡(luò)實(shí)現(xiàn)全局建模，輸出處理后的語音特征序列；

上采樣模塊，用于對(duì)最后一個(gè)BTCSAN模塊輸出的語義特征序列進(jìn)行上采樣，從而將序列長度還原；

輸出層，用于對(duì)上采樣模塊的輸出進(jìn)行建模，獲得語音識(shí)別結(jié)果；

其中，所述自注意力機(jī)制網(wǎng)絡(luò)包括：多頭自注意力層與位置前饋網(wǎng)絡(luò)層；所述多頭自注意力層與最后一個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)之間、多頭自注意力層與位置前饋網(wǎng)絡(luò)層之間、以及相鄰兩個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)之間均設(shè)有歸一化和殘差連接；

所述多頭自注意力層中并聯(lián)有若干個(gè)相同的子層，每一子層均為一個(gè)自注意力機(jī)制層，通過縮放的點(diǎn)乘注意力來實(shí)現(xiàn)；每一子層均有三個(gè)輸入，分別為查詢、鍵和值，依次記為Q、K與V；自注意力機(jī)制的輸出通過下式計(jì)算：

其中，為調(diào)節(jié)因子；

每一子層的Q、K與V各自經(jīng)過一個(gè)線性投影層以增加彼此之間的區(qū)分性，所有子層的輸出拼接在一起后，經(jīng)過一個(gè)線性投影層作為多頭自注意力層的輸出，表示為：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，h為子層的數(shù)目，Concat表示拼接操作，head_i表示第i個(gè)子層的Q、K與V經(jīng)過線性投影層后得到的點(diǎn)乘自注意力計(jì)算結(jié)果，依次表示第i個(gè)子層的Q、K、V經(jīng)過的線性投影層的權(quán)重；W^O表示拼接結(jié)果后經(jīng)過的線性投影層的權(quán)重；上述式子head_i中計(jì)算得到新的Q、K、V，直接帶入式子Attention(Q,K,V)進(jìn)行計(jì)算；

所述雙向時(shí)序卷積網(wǎng)絡(luò)采用空洞卷積與因果卷積以及反因果卷積的聯(lián)合運(yùn)算方式，對(duì)于輸入的語音特征序列x和卷積核f:{0,1,...,k-1}，時(shí)刻t空洞卷積與因果卷積以及反因果卷積的輸出如下：

其中，d為空洞卷積因子，k為卷積核大小，Dilated_causal表示空洞卷積與因果卷積的聯(lián)合運(yùn)算，Dilated_anticausal表示空洞卷積與反因果卷積的聯(lián)合運(yùn)算，f(j)是卷積核參數(shù)，x的下標(biāo)表示語音特征所對(duì)應(yīng)的語音幀序號(hào)；

每一BTCSAN模塊中堆疊了N_c個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)，對(duì)于第l個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)，其輸出O按如下方式計(jì)算：

x_fw＝Dilated_causal(layernorm(x),d_l,k)

x_bw＝Dilated_anticausal(layernorm(x),d_l,k)

O＝concat(x_fw,x_bw)+x

其中，layernorm(x)表示歸一化后的x，d_l是第l個(gè)雙向時(shí)序卷積網(wǎng)絡(luò)的空洞卷積因子，1≤l≤N_c。

2.根據(jù)權(quán)利要求1所述的一種采用雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，其特征在于，所述下采樣模塊包括兩個(gè)依次連接的子模塊；每一子模塊都包含依次連接的二維卷積神經(jīng)網(wǎng)絡(luò)、最大池化層、以及投影層。

3.根據(jù)權(quán)利要求1所述的一種采用雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，其特征在于，所述位置編碼的公式為：

其中，d_model為系統(tǒng)模型的維度，pos表示位置信息，2i與2i+1均表示語音特征中的一個(gè)維度。

4.根據(jù)權(quán)利要求1所述的一種采用雙向時(shí)序卷積與自注意力機(jī)制網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，其特征在于，所述位置前饋網(wǎng)絡(luò)層包含兩個(gè)全連接的線性層，中間設(shè)有一個(gè)ReLU非線性激活函數(shù)；位置前饋網(wǎng)絡(luò)層的處理過程表示為：

FFN(x')＝max(0,x'W₁+b₁)W₂+b₂

其中，x'表示輸入至位置前饋網(wǎng)絡(luò)層的數(shù)據(jù)，W₁與W₂、b₁與b₂分別表示兩個(gè)線性層的權(quán)重、偏置。