[發(fā)明專利]借助語(yǔ)種識(shí)別輔助語(yǔ)音評(píng)測(cè)的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010785964.7
• 申請(qǐng)日: 2020-08-07
• 公開(kāi)（公告）號(hào): CN111986650A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 牛傳迎
• 申請(qǐng)（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門(mén)云知芯智能科技有限公司
• 主分類(lèi)號(hào): G10L15/00
• 分類(lèi)號(hào): G10L15/00;G10L15/06;G10L15/02;G10L25/51
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 安琪

1.一種借助語(yǔ)種識(shí)別輔助語(yǔ)音評(píng)測(cè)的方法，其特征在于，所述方法執(zhí)行以下步驟：

步驟1：根據(jù)基于待檢測(cè)語(yǔ)音數(shù)據(jù)所建立的多層級(jí)聲學(xué)建模單元的分?jǐn)?shù)映射，得到初始評(píng)測(cè)得分；

步驟2：對(duì)所述待檢測(cè)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)種識(shí)別，得到語(yǔ)種識(shí)別結(jié)果；

步驟3：根據(jù)所述初始評(píng)測(cè)得分和所述語(yǔ)種識(shí)別結(jié)果，得到語(yǔ)音評(píng)測(cè)結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，在所述步驟1中，所述多層級(jí)聲學(xué)建模單元包括：音素層級(jí)建模單元、單詞層級(jí)建模單元和句子層級(jí)建模單元。

3.如權(quán)利要求2所述的方法，其特征在于，所述步驟1：根據(jù)基于待檢測(cè)語(yǔ)音數(shù)據(jù)所建立的多層級(jí)聲學(xué)建模單元的分?jǐn)?shù)映射，得到初始評(píng)測(cè)得分執(zhí)行以下步驟：

步驟S11：提取所述待檢測(cè)語(yǔ)音數(shù)據(jù)中的聲學(xué)特征，經(jīng)過(guò)語(yǔ)音識(shí)別網(wǎng)絡(luò)計(jì)算，得到音素層級(jí)的GOP后驗(yàn)概率和音素層級(jí)的置信分?jǐn)?shù)；

步驟S12：根據(jù)所述音素層級(jí)的GOP后驗(yàn)概率的平均值，得到單詞層級(jí)的后驗(yàn)概率，根據(jù)所述音素層級(jí)的置信分?jǐn)?shù)的平均值，得到單詞層級(jí)的置信分?jǐn)?shù)；

步驟S13：根據(jù)所述單詞層級(jí)的置信分?jǐn)?shù)和所述單詞層級(jí)的后驗(yàn)概率的加權(quán)平均，得到句子層級(jí)的分?jǐn)?shù)，并統(tǒng)計(jì)句子中單詞后驗(yàn)概率打零分的比例；

步驟S14：根據(jù)所述句子層級(jí)的分?jǐn)?shù)和所述句子中單詞后驗(yàn)概率打零分的比例，得到句子的初始評(píng)測(cè)得分。

4.如權(quán)利要求3所述的方法，其特征在于，在所述步驟S11中，根據(jù)以下公式確定所述音素層級(jí)的GOP后驗(yàn)概率：

其中，GOP(p_i)表示第i個(gè)音素的GOP后驗(yàn)概率，t_s表示音素的起始時(shí)間，t_e表示音素的結(jié)束時(shí)間，P(O_i|p_i；t_s,t_e)表示第i個(gè)觀測(cè)矢量O_i在模型p_i下的似然分?jǐn)?shù)，按照強(qiáng)制對(duì)齊從解碼路徑中獲得，max_q∈QP(O_i|q；t_s,t_e)按照文本相關(guān)的音素循環(huán)網(wǎng)絡(luò)近似獲得，Q表示參考文本中所有音素模型的集合；

在所述步驟S11中，基于語(yǔ)音識(shí)別網(wǎng)絡(luò)，通過(guò)前后向算法獲得所述音素層級(jí)的置信分?jǐn)?shù)p_icm，p_icm表示第i個(gè)音素的置信分?jǐn)?shù)；

在所述步驟S12中，根據(jù)以下公式確定所述單詞層級(jí)的后驗(yàn)概率，

其中，W_k表示第k個(gè)單詞的后驗(yàn)概率，N表示單詞所含音素個(gè)數(shù)；

在所述步驟S12中，根據(jù)以下公式確定所述單詞層級(jí)的置信分?jǐn)?shù)，

其中，W_kcm表示第k個(gè)單詞的置信分?jǐn)?shù)；

在所述步驟S13中，根據(jù)以下公式確定所述句子層級(jí)的分?jǐn)?shù)，

其中，S_r表示第r個(gè)句子的置信分?jǐn)?shù)；M表示句子中的單詞個(gè)數(shù)，β分別為加權(quán)系數(shù)，滿足M0,0≤β≤1，且

在所述步驟S13中，根據(jù)以下公式統(tǒng)計(jì)句子中單詞后驗(yàn)概率打零分的比例，

其中，zmatch表示句子中單詞后驗(yàn)概率打零分的比例，IntegrityAll＝Count(W_match+W_del+W_sub)，IntegrityAll表示依據(jù)DTW算法計(jì)算識(shí)別結(jié)果和參考文本中匹配的、刪除的和替換的單詞總個(gè)數(shù)；

在所述步驟S14中，根據(jù)以下公式確定句子的初始評(píng)測(cè)得分，

其中，t₁表示zmatch閾值，t₂表示S_r閾值。

5.如權(quán)利要求1所述的方法，其特征在于，所述步驟2：對(duì)所述待檢測(cè)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)種識(shí)別，得到語(yǔ)種識(shí)別結(jié)果執(zhí)行以下步驟：

步驟S21：將待檢測(cè)語(yǔ)音轉(zhuǎn)化為語(yǔ)種向量，其中所述語(yǔ)種向量代表語(yǔ)種信息；

步驟S22：根據(jù)所述語(yǔ)種向量和與各語(yǔ)種模型對(duì)應(yīng)的模型語(yǔ)種向量對(duì)比，得到語(yǔ)種識(shí)別結(jié)果。