[發(fā)明專利]語(yǔ)音喚醒方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110778557.8
• 申請(qǐng)日: 2021-07-09
• 公開（公告）號(hào): CN113327611A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 李亞偉;姚海濤;田垚;蔡猛;馬澤君
• 申請(qǐng)（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G10L15/22
• 分類號(hào): G10L15/22;G10L15/26;G10L15/02
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 李柯瑩

1.一種語(yǔ)音喚醒方法，其特征在于，所述方法包括：

獲取多路語(yǔ)音信號(hào)；

將所述多路語(yǔ)音信號(hào)輸入語(yǔ)音喚醒模型，以得到所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的語(yǔ)音喚醒結(jié)果，其中所述語(yǔ)音喚醒模型用于確定所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值，根據(jù)所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的所述信號(hào)權(quán)重值對(duì)所述多路語(yǔ)音信號(hào)進(jìn)行融合處理，得到目標(biāo)語(yǔ)音信號(hào)，并根據(jù)所述目標(biāo)語(yǔ)音信號(hào)確定所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的語(yǔ)音喚醒結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述語(yǔ)音喚醒模型用于通過(guò)如下方式確定所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值：

根據(jù)第一樣本語(yǔ)音和所述第一樣本語(yǔ)音對(duì)應(yīng)的語(yǔ)音喚醒結(jié)果訓(xùn)練所述語(yǔ)音喚醒模型，以確定所述語(yǔ)音喚醒模型中用于融合語(yǔ)音信號(hào)的模型參數(shù)，并根據(jù)所述模型參數(shù)計(jì)算所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的目標(biāo)信號(hào)權(quán)重值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述模型參數(shù)計(jì)算所述多路語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值，包括：

針對(duì)所述多路語(yǔ)音信號(hào)中的每一路語(yǔ)音信號(hào)，根據(jù)所述語(yǔ)音信號(hào)和所述模型參數(shù)計(jì)算該路語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值；或者

針對(duì)所述多路語(yǔ)音信號(hào)中的每一路語(yǔ)音信號(hào)，根據(jù)所述語(yǔ)音信號(hào)、上一時(shí)刻輸出的歷史信號(hào)權(quán)重值和所述模型參數(shù)計(jì)算該路語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述語(yǔ)音喚醒模塊包括前端增強(qiáng)模塊、通道融合模塊、特征提取模塊和喚醒模塊；

所述前端增強(qiáng)模塊用于對(duì)所述多路語(yǔ)音信號(hào)進(jìn)行信號(hào)增強(qiáng)處理，以得到多路增強(qiáng)語(yǔ)音信號(hào)；

所述通道融合模塊用于確定所述多路增強(qiáng)語(yǔ)音信號(hào)對(duì)應(yīng)的信號(hào)權(quán)重值，并根據(jù)所述多路增強(qiáng)語(yǔ)音信號(hào)對(duì)應(yīng)的所述信號(hào)權(quán)重值對(duì)所述多路增強(qiáng)語(yǔ)音信號(hào)進(jìn)行融合處理，得到目標(biāo)語(yǔ)音信號(hào)；

所述特征提取模塊用于從所述目標(biāo)語(yǔ)音信號(hào)提取目標(biāo)語(yǔ)音特征；

所述喚醒模塊用于根據(jù)所述目標(biāo)語(yǔ)音特征確定對(duì)應(yīng)的語(yǔ)音喚醒文本，并將所述語(yǔ)音喚醒文本發(fā)送給語(yǔ)音喚醒引擎解碼。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述語(yǔ)音喚醒模型是通過(guò)如下方式訓(xùn)練得到的：

根據(jù)第二樣本語(yǔ)音和所述第二樣本語(yǔ)音對(duì)應(yīng)的、進(jìn)行信號(hào)增強(qiáng)處理后的樣本增強(qiáng)語(yǔ)音訓(xùn)練所述前端增強(qiáng)模塊和所述通道融合模塊；

在訓(xùn)練所述前端增強(qiáng)模塊和所述通道融合模塊后，根據(jù)第三樣本語(yǔ)音和所述第三樣本語(yǔ)音對(duì)應(yīng)的樣本喚醒文本，對(duì)所述語(yǔ)音喚醒模型進(jìn)行端到端的訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述訓(xùn)練所述前端增強(qiáng)模塊和所述通道融合模塊，包括：

通過(guò)樣本信號(hào)增強(qiáng)模型對(duì)第二樣本語(yǔ)音進(jìn)行信號(hào)增強(qiáng)處理，得到所述第二樣本語(yǔ)音對(duì)應(yīng)的樣本增強(qiáng)語(yǔ)音，通過(guò)所述前端增強(qiáng)模塊對(duì)所述第二樣本語(yǔ)音進(jìn)行信號(hào)增強(qiáng)處理，并將所述前端增強(qiáng)模塊輸出的結(jié)果輸入所述通道融合模塊，得到所述第二樣本語(yǔ)音信號(hào)對(duì)應(yīng)的實(shí)際增強(qiáng)語(yǔ)音，根據(jù)所述樣本增強(qiáng)語(yǔ)音和所述實(shí)際增強(qiáng)語(yǔ)音計(jì)算第一損失函數(shù)，并根據(jù)所述第一損失函數(shù)的計(jì)算結(jié)果，調(diào)整所述前端增強(qiáng)模塊和所述通道融合模塊的參數(shù)；

所述對(duì)所述語(yǔ)音喚醒模型進(jìn)行端到端的訓(xùn)練，包括：

將第三樣本語(yǔ)音輸入所述語(yǔ)音喚醒模型，得到所述第三樣本語(yǔ)音對(duì)應(yīng)的實(shí)際喚醒文本，根據(jù)所述實(shí)際喚醒文本和所述第三樣本語(yǔ)音對(duì)應(yīng)的樣本喚醒文本計(jì)算第二損失函數(shù)，并根據(jù)所述第二損失函數(shù)的計(jì)算結(jié)果，調(diào)整所述語(yǔ)音喚醒模型的參數(shù)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，在根據(jù)第二樣本語(yǔ)音和所述第二樣本語(yǔ)音對(duì)應(yīng)的、進(jìn)行增強(qiáng)處理后的樣本增強(qiáng)語(yǔ)音訓(xùn)練所述前端增強(qiáng)模塊和所述通道融合模塊之前，所述方法還包括：

根據(jù)第四樣本語(yǔ)音和所述第四樣本語(yǔ)音對(duì)應(yīng)的文本訓(xùn)練所述喚醒模塊；

在訓(xùn)練所述喚醒模塊后，保持所述喚醒模塊的參數(shù)不變，根據(jù)第五樣本語(yǔ)音和所述第五樣本語(yǔ)音對(duì)應(yīng)的語(yǔ)音特征訓(xùn)練所述特征提取模塊，并在訓(xùn)練所述特征提取模塊后，保持所述喚醒模塊和所述特征提取模塊的參數(shù)不變。