[發(fā)明專利]語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110250627.2
• 申請(qǐng)日: 2021-03-08
• 公開(kāi)（公告）號(hào): CN112992129B
• 公開(kāi)（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 楊周旺;杜葉倩;王昊
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/16;G10L15/26;G06N3/08
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法，其特征在于，包括：

通過(guò)神經(jīng)網(wǎng)絡(luò)模塊，學(xué)習(xí)能夠擬合注意力機(jī)制權(quán)重分布的高斯分布的參數(shù)，并進(jìn)行數(shù)值計(jì)算，使之符合設(shè)定要求；

將數(shù)值計(jì)算得到的參數(shù)值與注意力機(jī)制權(quán)重矩陣之間的均方誤差作為單調(diào)性損失，并將所述單調(diào)性損失作為原本優(yōu)化目標(biāo)的正則項(xiàng)，得到最終的優(yōu)化目標(biāo)；

基于所述最終的優(yōu)化目標(biāo)對(duì)語(yǔ)音識(shí)別框架進(jìn)行訓(xùn)練；

其中，通過(guò)神經(jīng)網(wǎng)絡(luò)模塊，得到高斯分布的參數(shù)，即均值μ和方差σ的初步數(shù)值，在進(jìn)行數(shù)值計(jì)算時(shí)，對(duì)均值μ的初步數(shù)值進(jìn)行截?cái)嗍怪秦?fù)，再做放縮使得求和等于語(yǔ)音序列長(zhǎng)度，計(jì)算結(jié)果記為Δ；對(duì)方差σ進(jìn)行截?cái)嗍怪谠O(shè)定范圍內(nèi)，計(jì)算結(jié)果記為∑；計(jì)算過(guò)程表示為：

Δ，∑＝Cal^(μ)(QW^μ)，Cal^(σ)(QW^σ)

其中，W^μ、W^σ各自表示神經(jīng)網(wǎng)絡(luò)模塊中對(duì)于均值μ、方差σ的映射權(quán)重，Q為注意力機(jī)制中的Query；令QW^μ，QW^σ＝X，則Cal^(μ)(X)、Cal^(σ)(X)的計(jì)算公式為：

Cal^(σ)(X)＝clamp(X，σ_min，σ_max)

上式中，X_i為QW^μ的第i行，inf表示無(wú)窮大，J表示語(yǔ)音識(shí)別框架中編碼器的序列長(zhǎng)度，clamp(.)為區(qū)間限定函數(shù)，將括號(hào)中的三個(gè)數(shù)值對(duì)應(yīng)的表示為(x，x_min，x_max)，如果輸入為矩陣則為每一個(gè)元素進(jìn)行計(jì)算，表示為：

2.根據(jù)權(quán)利要求1所述的一種語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法，其特征在于，所述通過(guò)神經(jīng)網(wǎng)絡(luò)模塊，學(xué)習(xí)能夠擬合注意力機(jī)制權(quán)重分布的高斯分布的參數(shù)包括：

所述語(yǔ)音識(shí)別框架為包含注意力機(jī)制的編解碼框架，連接編碼器和解碼器的注意力機(jī)制的三個(gè)輸入Query、Key、Value分別來(lái)自解碼器、編碼器、編碼器；

神經(jīng)網(wǎng)絡(luò)模塊的輸入為Query，通過(guò)神經(jīng)網(wǎng)絡(luò)模塊的映射操作，得到高斯分布的參數(shù)均值μ和方差σ的初步數(shù)值；其中，均值μ的映射權(quán)重W^μ與方差σ映射權(quán)重W^σ不共享。

3.根據(jù)權(quán)利要求1或2所述的一種語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法，其特征在于，計(jì)算參數(shù)值與注意力機(jī)制權(quán)重之間的均方誤差的過(guò)程包括：

高斯分布的參數(shù)包含了均值μ和方差σ的初步數(shù)值，數(shù)值計(jì)算結(jié)果對(duì)應(yīng)記為Δ，∑，由Δ與∑對(duì)應(yīng)的計(jì)算每個(gè)位置高斯分布參數(shù)的均值μ_i與σ_i，從而計(jì)算每個(gè)位置上的數(shù)值然后，與注意力機(jī)制權(quán)重矩陣a相減，計(jì)算均方誤差，計(jì)算過(guò)程表示為：

μ_i，σ_i＝μ_i-1+Δ_i，∑_i

其中，i，j為位置索引，I、J分別表示語(yǔ)音識(shí)別框架中解碼器、編碼器的信息序列長(zhǎng)度，表示均方誤差。

4.根據(jù)權(quán)利要求1或2所述的一種語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法，其特征在于，所述將所述單調(diào)性損失作為原本優(yōu)化目標(biāo)的正則項(xiàng)，得到最終的優(yōu)化目標(biāo)包括：

對(duì)于包含注意力機(jī)制的編解碼框架，對(duì)解碼器部分的N個(gè)layer和每個(gè)layer的H個(gè)head的單調(diào)性損失取平均，表示為：

將loss_mono作為原本優(yōu)化目標(biāo)loss_CE的正則項(xiàng)，得到最終的優(yōu)化目標(biāo)loss：

loss＝loss_CE+λ*loss_mono

其中，λ為正則項(xiàng)系數(shù)，n＝1，...，N，h＝1，...，H，表示對(duì)第n個(gè)layer、第h個(gè)head的注意力機(jī)制計(jì)算出的單調(diào)性損失。

5.根據(jù)權(quán)利要求1或2所述的一種語(yǔ)音識(shí)別任務(wù)中的保持注意力機(jī)制單調(diào)性方法，其特征在于，預(yù)先收集語(yǔ)音數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，并基于所述最終的優(yōu)化目標(biāo)對(duì)語(yǔ)音識(shí)別框架進(jìn)行訓(xùn)練；對(duì)于訓(xùn)練后的語(yǔ)音識(shí)別框架，使用新的語(yǔ)音數(shù)據(jù)樣本進(jìn)行測(cè)試，獲得語(yǔ)音識(shí)別結(jié)果。