[發(fā)明專利]一種環(huán)境對(duì)抗的魯棒語(yǔ)音鑒別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110841144.X
• 申請(qǐng)日: 2021-07-26
• 公開(kāi)（公告）號(hào): CN113284486B
• 公開(kāi)（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 易江燕;陶建華;傅睿博;田正坤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/20
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 孫劍鋒

1.一種環(huán)境對(duì)抗的魯棒語(yǔ)音鑒別方法，其特征在于，所述方法包括：

S1：采集語(yǔ)音鑒別模型訓(xùn)練數(shù)據(jù)；

S2：提取所述訓(xùn)練數(shù)據(jù)中每個(gè)語(yǔ)音句子的訓(xùn)練聲學(xué)特征；

S3：將所述訓(xùn)練聲學(xué)特征輸入語(yǔ)音鑒別模型，所述語(yǔ)音鑒別模型包括：語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器；

S4：聯(lián)合優(yōu)化語(yǔ)音鑒別模型的語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器的損失函數(shù)，得到訓(xùn)練后的語(yǔ)音鑒別模型；

S5：采集語(yǔ)音鑒別模型預(yù)測(cè)數(shù)據(jù)；

S6：提取所述預(yù)測(cè)數(shù)據(jù)中每個(gè)語(yǔ)音句子的預(yù)測(cè)聲學(xué)特征；

S7：將所述預(yù)測(cè)聲學(xué)特征輸入訓(xùn)練后的去除環(huán)境對(duì)抗判別器的所述語(yǔ)音鑒別模型，輸出語(yǔ)音的判別結(jié)果；

所述語(yǔ)音鑒別模型還包括：共享隱層；所述共享隱層分別與語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器連接；

所述將所述訓(xùn)練聲學(xué)特征輸入語(yǔ)音鑒別模型，包括：將所述訓(xùn)練聲學(xué)特征輸入所述共享隱層，所述共享隱層的輸出分別輸入語(yǔ)音鑒別模型的語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器；

所述共享隱層由八層殘差網(wǎng)絡(luò)隱層構(gòu)成，語(yǔ)音真假判別器由兩個(gè)自注意力網(wǎng)絡(luò)隱層和一個(gè)輸出層構(gòu)成，環(huán)境對(duì)抗判別器由兩個(gè)自注意力網(wǎng)絡(luò)隱層和一個(gè)輸出層構(gòu)成；所述訓(xùn)練數(shù)據(jù)包括：干凈的真假音頻數(shù)據(jù)和加噪聲的真假音頻數(shù)據(jù)；

所述聲學(xué)特征為常數(shù)Q譜系數(shù)，即CQCC；

所述語(yǔ)音真假判別器L_Det和環(huán)境對(duì)抗判別器的損失函數(shù)L_Env的具體公式為：

其中，d表示語(yǔ)音的真假類別，C表示語(yǔ)音的真假類別總數(shù)，e表示語(yǔ)音的環(huán)境類別，K表示語(yǔ)音的環(huán)境類別總數(shù)，i表示某一幀語(yǔ)音的序號(hào)，N表示所有語(yǔ)音幀總數(shù)，P表示概率；θ^d表示語(yǔ)音真假判別器的參數(shù)，θ^e表示環(huán)境對(duì)抗判別器的參數(shù)，θ^s表示共享隱層的參數(shù)；

所述聯(lián)合優(yōu)化語(yǔ)音鑒別模型的語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器的損失函數(shù)的具體公式為：

其中，α表示L_Det的權(quán)重，β表示L_Env的權(quán)重；

所述α和β的取值范圍均為[0,1]。

2.根據(jù)權(quán)利要求1所述的環(huán)境對(duì)抗的魯棒語(yǔ)音鑒別方法，其特征在于，所述聯(lián)合優(yōu)化語(yǔ)音鑒別模型的語(yǔ)音真假判別器和環(huán)境對(duì)抗判別器的損失函數(shù)，訓(xùn)練過(guò)程中語(yǔ)音鑒別模型參數(shù)的更新表示為：

其中，δ表示模型的學(xué)習(xí)速率。