[發(fā)明專利]一種語(yǔ)種識(shí)別模型訓(xùn)練、語(yǔ)種識(shí)別的方法和相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910487339.1
• 申請(qǐng)日: 2019-06-05
• 公開（公告）號(hào): CN112133291A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 趙佰軍;褚繁;李晉;方昕;柳林
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司;趙佰軍
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/00;G10L15/16
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請(qǐng)公開了一種語(yǔ)種識(shí)別模型訓(xùn)練、語(yǔ)種識(shí)別的方法和相關(guān)裝置，該方法包括：語(yǔ)種標(biāo)簽和隨機(jī)噪聲輸入生成網(wǎng)絡(luò)獲得偽語(yǔ)種向量；訓(xùn)練語(yǔ)音數(shù)據(jù)的語(yǔ)種特征輸入神經(jīng)網(wǎng)絡(luò)獲得真語(yǔ)種向量；將偽語(yǔ)種向量和真語(yǔ)種向量分別輸入判別網(wǎng)絡(luò)獲得判別概率和預(yù)測(cè)語(yǔ)種標(biāo)簽；基于判別概率和預(yù)測(cè)語(yǔ)種標(biāo)簽訓(xùn)練生成網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)和判別網(wǎng)絡(luò)獲得語(yǔ)種識(shí)別模型。生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)基于隨機(jī)噪聲輔以語(yǔ)種標(biāo)簽?zāi)M語(yǔ)種特征分布增強(qiáng)語(yǔ)種特征，語(yǔ)種標(biāo)簽降低網(wǎng)絡(luò)收斂難度；神經(jīng)網(wǎng)絡(luò)與判別網(wǎng)絡(luò)處理訓(xùn)練語(yǔ)音數(shù)據(jù)的語(yǔ)種特征，降低生成網(wǎng)絡(luò)的模擬復(fù)雜度；時(shí)長(zhǎng)較短語(yǔ)音數(shù)據(jù)通過(guò)語(yǔ)種識(shí)別模型能夠得到更加精準(zhǔn)、穩(wěn)定的語(yǔ)種向量，提高短時(shí)語(yǔ)音語(yǔ)種識(shí)別的精度和準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及語(yǔ)音數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種語(yǔ)種識(shí)別模型訓(xùn)練、語(yǔ)種識(shí)別的方法和相關(guān)裝置。

背景技術(shù)

隨著智能識(shí)別技術(shù)的快速發(fā)展，語(yǔ)種識(shí)別技術(shù)越來(lái)越多受到人們的關(guān)注。由于某些原因相鄰地域的語(yǔ)言可能采用同一種語(yǔ)言但存在一些差別，即，一個(gè)語(yǔ)系下可能有多個(gè)小語(yǔ)種。針對(duì)同一語(yǔ)系下的小語(yǔ)種，語(yǔ)種識(shí)別技術(shù)的準(zhǔn)確性要求較高。

目前，語(yǔ)種識(shí)別方法主要是基于全變量因子分析技術(shù)，具體地，提取待識(shí)別語(yǔ)音數(shù)據(jù)中反映語(yǔ)種信息的語(yǔ)種特征；通過(guò)前向-后向算法(Baum-Welch算法)按時(shí)序計(jì)算每幀待識(shí)別語(yǔ)音數(shù)據(jù)的語(yǔ)種特征在混合高斯模型每個(gè)高斯成分中的后驗(yàn)占有率；利用預(yù)先訓(xùn)練的全變量空間進(jìn)行線性投影獲得待識(shí)別語(yǔ)音數(shù)據(jù)的語(yǔ)種向量；基于該語(yǔ)種向量與各類語(yǔ)種的語(yǔ)種標(biāo)準(zhǔn)向量的相似度確定待識(shí)別語(yǔ)音數(shù)據(jù)的語(yǔ)種類別。

但是，采用上述語(yǔ)種識(shí)別方法，當(dāng)待識(shí)別語(yǔ)音數(shù)據(jù)時(shí)長(zhǎng)較短時(shí)，其語(yǔ)音內(nèi)容較為稀疏，提取的特征無(wú)法精確反映語(yǔ)種信息；且提取的特征數(shù)量不夠充分，則夠進(jìn)行統(tǒng)計(jì)計(jì)算的特征數(shù)量不足；即使采用時(shí)序幀移方式最終獲得的語(yǔ)種向量也不夠精確、穩(wěn)定，從而導(dǎo)致語(yǔ)種識(shí)別的精度較低、準(zhǔn)確度急劇下降。

發(fā)明內(nèi)容

本申請(qǐng)所要解決的技術(shù)問(wèn)題是，提供一種語(yǔ)種識(shí)別模型訓(xùn)練、語(yǔ)種識(shí)別的方法和相關(guān)裝置，時(shí)長(zhǎng)較短語(yǔ)音數(shù)據(jù)通過(guò)語(yǔ)種識(shí)別模型能夠得到更加精準(zhǔn)、穩(wěn)定的語(yǔ)種向量，從而提高短時(shí)語(yǔ)音語(yǔ)種識(shí)別的精度和準(zhǔn)確度。

第一方面，本申請(qǐng)實(shí)施例提供了一種語(yǔ)種識(shí)別模型訓(xùn)練的方法，該方法包括：

將語(yǔ)種標(biāo)簽和隨機(jī)噪聲輸入生成網(wǎng)絡(luò)獲得偽語(yǔ)種向量；將訓(xùn)練語(yǔ)音數(shù)據(jù)的語(yǔ)種特征輸入神經(jīng)網(wǎng)絡(luò)獲得真語(yǔ)種向量；

利用判別網(wǎng)絡(luò)獲得所述偽語(yǔ)種向量的判別結(jié)果和所述真語(yǔ)種向量的判別結(jié)果，所述判別結(jié)果包括判別概率和預(yù)測(cè)語(yǔ)種標(biāo)簽；

基于所述判別概率和所述預(yù)測(cè)語(yǔ)種標(biāo)簽訓(xùn)練所述生成網(wǎng)絡(luò)、所述神經(jīng)網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)獲得語(yǔ)種識(shí)別模型。

在本申請(qǐng)實(shí)施例一種可選的實(shí)施方式中，所述將語(yǔ)種標(biāo)簽和隨機(jī)噪聲輸入生成網(wǎng)絡(luò)獲得偽語(yǔ)種向量，包括：

基于所述語(yǔ)種標(biāo)簽和所述生成網(wǎng)絡(luò)的嵌入層獲得語(yǔ)種標(biāo)簽向量；

拼接所述語(yǔ)種標(biāo)簽向量和對(duì)應(yīng)的所述隨機(jī)噪聲獲得拼接向量；

基于所述拼接向量和所述生成網(wǎng)絡(luò)的全連接層獲得所述偽語(yǔ)種向量。

在本申請(qǐng)實(shí)施例一種可選的實(shí)施方式中，所述基于所述語(yǔ)種標(biāo)簽和所述生成網(wǎng)絡(luò)的嵌入層獲得語(yǔ)種標(biāo)簽向量，包括：

將多個(gè)不同類別的語(yǔ)種標(biāo)簽輸入所述生成網(wǎng)絡(luò)的嵌入層獲得各類別語(yǔ)種標(biāo)簽的語(yǔ)種標(biāo)簽向量；

基于每個(gè)所述語(yǔ)種標(biāo)簽的類別篩選所述各類別語(yǔ)種標(biāo)簽的語(yǔ)種標(biāo)簽向量，獲得每個(gè)所述語(yǔ)種標(biāo)簽的語(yǔ)種標(biāo)簽向量。

在本申請(qǐng)實(shí)施例一種可選的實(shí)施方式中，所述多個(gè)不同類別的語(yǔ)種標(biāo)簽中各類別語(yǔ)種標(biāo)簽的數(shù)量均衡；所述隨機(jī)噪聲符合正態(tài)分布；所述神經(jīng)網(wǎng)絡(luò)包括雙向長(zhǎng)短期記憶網(wǎng)絡(luò)。