[發(fā)明專(zhuān)利]基于多任務(wù)自注意力機(jī)制的語(yǔ)言學(xué)習(xí)者聲紋識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110197641.0
• 申請(qǐng)日: 2021-02-22
• 公開(kāi)（公告）號(hào): CN112908341B
• 公開(kāi)（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 王興梅;王涵;汪進(jìn)利;趙中華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類(lèi)號(hào): G10L17/02
• 分類(lèi)號(hào): G10L17/02;G10L17/04;G10L17/06;G10L17/18;G10L25/24
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明提供的是一種基于多任務(wù)自注意力機(jī)制的語(yǔ)言學(xué)習(xí)者聲紋識(shí)別方法。包括如下步驟：(1)對(duì)原始語(yǔ)音信號(hào)進(jìn)行預(yù)處理；(2)提出構(gòu)建多任務(wù)自注意力網(wǎng)絡(luò)(Multi?Task Self?Attention Network，MT?SANet)模型；(3)提出從新的角度將學(xué)習(xí)語(yǔ)言過(guò)程中的不同學(xué)習(xí)階段納入輔助任務(wù)；(4)完成基于多任務(wù)自注意力機(jī)制的語(yǔ)言學(xué)習(xí)者聲紋識(shí)別。本發(fā)明為了取得更好的語(yǔ)言學(xué)習(xí)者的聲紋識(shí)別效果，提出一種基于多任務(wù)自注意力機(jī)制的語(yǔ)言學(xué)習(xí)者聲紋識(shí)別方法。本發(fā)明提出的基于多任務(wù)自注意力機(jī)制的語(yǔ)言學(xué)習(xí)者聲紋識(shí)別方法，能更好的提高聲紋識(shí)別的正確率和泛化能力，具有一定的有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及的是聲紋識(shí)別技術(shù)領(lǐng)域。聲紋識(shí)別分為說(shuō)話人辨認(rèn)和說(shuō)話人驗(yàn)證，本發(fā)明主要研究說(shuō)話人辨認(rèn)，具體來(lái)說(shuō)是一種針對(duì)語(yǔ)言學(xué)習(xí)者的多任務(wù)說(shuō)話人辨認(rèn)方法。

背景技術(shù)

語(yǔ)音作為語(yǔ)言的聲音表現(xiàn)形式，不僅包含了語(yǔ)言語(yǔ)義信息，同時(shí)也傳達(dá)了說(shuō)話人語(yǔ)種、性別、年齡、情感、生理、心理等多種豐富的副語(yǔ)言語(yǔ)音屬性信息。聲紋識(shí)別作為生物識(shí)別的一種，是根據(jù)說(shuō)話人的聲波特性進(jìn)行身份辨識(shí)，由于聲紋作為一種行為特征，具有唯一性和獨(dú)特性，以及在安全性、成本、便捷性等方面的應(yīng)用優(yōu)勢(shì)，使得聲紋識(shí)別被廣泛應(yīng)用于金融安全、國(guó)防安全、智能家居等領(lǐng)域。近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)聲紋識(shí)別進(jìn)行了深入的分析研究，其中在已有的文獻(xiàn)中最著名和效果最好的聲紋識(shí)別方法主要包括：1.基于概率線性鑒別分析模型的文本無(wú)關(guān)聲紋識(shí)別：2017年Khosravani A,Homayounpour M.A PLDAapproach for language and text independent speaker recognition.ComputerSpeechLanguage,2017,45(5):457-474.提出利用來(lái)自雙語(yǔ)使用者的多語(yǔ)種數(shù)據(jù)訓(xùn)練概率線性鑒別分析模型，實(shí)現(xiàn)文本無(wú)關(guān)的多語(yǔ)言聲紋識(shí)別，取得了較高的識(shí)別正確率。2.基于i-Vector概率線性鑒別分析模型的非并行語(yǔ)音轉(zhuǎn)換研究：2017年Tomi Kinnunen,LauriJuvela,Paavo Alku,Junichi Yamagishi.Nonparallel Voice Conversion Using i-Vector PLDA:Towards Unifying Speaker Verification and Transformation[C]//2017IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),New Orleans,United States,2017:5535-5539.提出采用i-vector方法進(jìn)行語(yǔ)音轉(zhuǎn)換，將說(shuō)話人驗(yàn)證和轉(zhuǎn)換相統(tǒng)一，在任何階段無(wú)需并行語(yǔ)段或時(shí)間對(duì)齊處理，其性能優(yōu)于基于HMM-GMM的方法。3.基于質(zhì)心深度度量學(xué)習(xí)的說(shuō)話人識(shí)別方法：2019年Jixuan Wang,Kuan-Chieh Wang,Marc T.Law,Frank Rudzicz,Michael Brudno.Centroid-based DeepMetric Learning for Speaker Recognition[C]//2019IEEE International Conferenceon Acoustics,Speech and Signal Processing(ICASSP),Brighton,England,2019:3652-3656.提出使用原型網(wǎng)絡(luò)損耗優(yōu)化說(shuō)話人嵌入模型，在說(shuō)話人驗(yàn)證和識(shí)別任務(wù)中取得了相對(duì)較好的效果。4.一種基于自動(dòng)語(yǔ)音識(shí)別的數(shù)據(jù)增強(qiáng)方法：2019年Daniel S.Park,WilliamChan,Yu Zhang,Chung-Cheng Chiu,Barret Zoph,Ekin D.Cubuk,QuocV.Le.Specaugment:A simple data augmentation method for automatic speechrecognition[C]//2019Interspeech,Graz,Austria,2019:2613-2617.提出在語(yǔ)音識(shí)別任務(wù)中對(duì)數(shù)據(jù)采用變形功能，頻道屏蔽塊和時(shí)間步長(zhǎng)屏蔽塊的增強(qiáng)策略。該方法在LibriSpeech和Switchboard等識(shí)別任務(wù)上大幅提升了語(yǔ)音識(shí)別率。5.基于新特征提取方法的非對(duì)稱(chēng)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的說(shuō)話人識(shí)別模型：2020年Xingmei Wang,Fuzhao Xue,WeiWang,Anhua Liu.A network model of speaker identification with new featureextraction methods and asymmetric BLSTM.Neurocomputing,2020,403:167-181.提出將梅爾譜圖和耳蝸圖結(jié)合產(chǎn)生兩個(gè)新特征，在短時(shí)間內(nèi)獲得更豐富的聲紋功能，在此基礎(chǔ)上，提出一種非對(duì)稱(chēng)的雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，提高了說(shuō)話人識(shí)別的正確率。