[發(fā)明專(zhuān)利]說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型訓(xùn)練方法、說(shuō)話(huà)人識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810025592.0
• 申請(qǐng)日: 2018-01-11
• 公開(kāi)（公告）號(hào): CN108417217B
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 錢(qián)彥旻;黃子礫;王帥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 思必馳科技股份有限公司
• 主分類(lèi)號(hào): G10L17/04
• 分類(lèi)號(hào): G10L17/04;G10L17/18
• 代理公司: 北京商專(zhuān)永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 方挺;車(chē)江華

本發(fā)明公開(kāi)一種說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型訓(xùn)練方法，包括：從訓(xùn)練數(shù)據(jù)集中獲取第i話(huà)語(yǔ)三元組并將第i話(huà)語(yǔ)三元組輸入至卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)對(duì)第i話(huà)語(yǔ)三元組進(jìn)行特征提取得到第i話(huà)語(yǔ)特征三元組并輸入至線性神經(jīng)網(wǎng)絡(luò)；將預(yù)先獲取的第一說(shuō)話(huà)人的第一身份向量信息和第二說(shuō)話(huà)人的第二身份向量信息輸入至線性神經(jīng)網(wǎng)絡(luò)進(jìn)行融合處理，以得到融合后的第i話(huà)語(yǔ)特征三元組；根據(jù)融合后的第i話(huà)語(yǔ)特征三元組計(jì)算三元組損失，以調(diào)整所述網(wǎng)絡(luò)模型。本發(fā)明實(shí)施例得到的說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型能夠更加準(zhǔn)確的實(shí)現(xiàn)說(shuō)話(huà)人的識(shí)別功能，具有最低的等錯(cuò)誤率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型訓(xùn)練方法、說(shuō)話(huà)人識(shí)別方法及系統(tǒng)。

背景技術(shù)

說(shuō)話(huà)人識(shí)別技術(shù)作為生物特征識(shí)別的一個(gè)方向，在理論和應(yīng)用領(lǐng)域都得到了快速發(fā)展和廣泛關(guān)注。在對(duì)經(jīng)典說(shuō)話(huà)人識(shí)別算法的中，從理論和實(shí)際應(yīng)用中分析了經(jīng)典算法存在的缺陷，由此推出了基于i-vector的說(shuō)話(huà)人識(shí)別算法，在i-vector框架中，對(duì)每一幀語(yǔ)音數(shù)據(jù)提取i-vector低維表示，將所有幀的低維表示進(jìn)行平均得到說(shuō)話(huà)人的表示。

但是，發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程中發(fā)現(xiàn)，在注冊(cè)語(yǔ)句較短的情況下，i-vector作為說(shuō)話(huà)人的表示類(lèi)內(nèi)方差較大(即，對(duì)于同一說(shuō)話(huà)人的不同話(huà)語(yǔ)的識(shí)別結(jié)果之間距離相差較大)，類(lèi)間方差小(即，不同說(shuō)話(huà)人的識(shí)別結(jié)果之間距離較小)，從而導(dǎo)致識(shí)別準(zhǔn)確率在注冊(cè)語(yǔ)句較短時(shí)較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型訓(xùn)練方法、說(shuō)話(huà)人識(shí)別方法及系統(tǒng)，至少能夠用于解決現(xiàn)有技術(shù)中說(shuō)話(huà)人識(shí)別準(zhǔn)確率低的技術(shù)問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供一種說(shuō)話(huà)人識(shí)別網(wǎng)絡(luò)模型訓(xùn)練方法，所述網(wǎng)絡(luò)模型包括卷積神經(jīng)網(wǎng)絡(luò)和線性神經(jīng)網(wǎng)絡(luò)，所述方法包括：

從訓(xùn)練數(shù)據(jù)集中獲取第i話(huà)語(yǔ)三元組，所述訓(xùn)練數(shù)據(jù)集中包括多個(gè)說(shuō)話(huà)人的話(huà)語(yǔ)，每個(gè)說(shuō)話(huà)人對(duì)應(yīng)多個(gè)話(huà)語(yǔ)，所述第i話(huà)語(yǔ)三元組由選自所述多個(gè)說(shuō)話(huà)人的第一說(shuō)話(huà)人的第一話(huà)語(yǔ)和第二話(huà)語(yǔ)，以及選自所述多個(gè)說(shuō)話(huà)人的第二說(shuō)話(huà)人的第三話(huà)語(yǔ)構(gòu)成；

將所述第i話(huà)語(yǔ)三元組輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述第i話(huà)語(yǔ)三元組進(jìn)行特征提取得到第i話(huà)語(yǔ)特征三元組并輸入至所述線性神經(jīng)網(wǎng)絡(luò)，所述第i話(huà)語(yǔ)特征三元組包括對(duì)應(yīng)于所述第一至第三話(huà)語(yǔ)的第一至第三話(huà)語(yǔ)向量信息；

將預(yù)先獲取的所述第一說(shuō)話(huà)人的第一身份向量信息和所述第二說(shuō)話(huà)人的第二身份向量信息輸入至所述線性神經(jīng)網(wǎng)絡(luò)，所述線性神經(jīng)網(wǎng)絡(luò)將所述第一身份向量信息分別與所述第一話(huà)語(yǔ)向量信息和第二話(huà)語(yǔ)向量信息進(jìn)行加權(quán)和，并將所述第二身份向量信息與所述第三話(huà)語(yǔ)向量信息進(jìn)行加權(quán)和，以得到融合后的第i話(huà)語(yǔ)特征三元組；

根據(jù)所述融合后的第i話(huà)語(yǔ)特征三元組計(jì)算三元組損失(TripletLoss)，以調(diào)整所述網(wǎng)絡(luò)模型，其中i取值1至N，N為訓(xùn)練數(shù)據(jù)集中所包含的所有話(huà)語(yǔ)三元組的個(gè)數(shù)。

第二方面，本發(fā)明實(shí)施例提供一種說(shuō)話(huà)人識(shí)別方法，基于本發(fā)明實(shí)施例中所述的網(wǎng)絡(luò)模型實(shí)現(xiàn)，所述方法包括：

說(shuō)話(huà)人注冊(cè)：

將獲取說(shuō)話(huà)人的多個(gè)注冊(cè)話(huà)語(yǔ)輸入至所述卷積神經(jīng)網(wǎng)絡(luò)以得到相應(yīng)的注冊(cè)話(huà)語(yǔ)向量信息；

基于所述多個(gè)注冊(cè)話(huà)語(yǔ)生成對(duì)應(yīng)于說(shuō)話(huà)人的注冊(cè)身份向量信息；

所述線性神經(jīng)網(wǎng)絡(luò)基于所述注冊(cè)身份向量信息和所述注冊(cè)話(huà)語(yǔ)向量信息生成注冊(cè)融合向量信息并存儲(chǔ)；

說(shuō)話(huà)人識(shí)別：

將說(shuō)話(huà)人的測(cè)試話(huà)語(yǔ)輸入至所述卷積神經(jīng)網(wǎng)絡(luò)以得到相應(yīng)的測(cè)試話(huà)語(yǔ)向量信息；

基于所述測(cè)試話(huà)語(yǔ)生成對(duì)應(yīng)于說(shuō)話(huà)人的測(cè)試身份向量信息；

所述線性神經(jīng)網(wǎng)絡(luò)基于所述測(cè)試身份向量信息和所述測(cè)試話(huà)語(yǔ)向量信息生成測(cè)試融合向量信息并存儲(chǔ)；