[發(fā)明專利]智能語(yǔ)音評(píng)測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611199626.5
• 申請(qǐng)日: 2016-12-22
• 公開（公告）號(hào): CN106782603B
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 郭偉
• 申請(qǐng)（專利權(quán)）人: 云知聲（上海）智能科技有限公司
• 主分類號(hào): G10L25/30
• 分類號(hào): G10L25/30;G10L25/51;G10L15/02;G10L15/04;G10L17/02
• 代理公司: 上海唯源專利代理有限公司 31229
• 代理人: 曾耀先

1.一種智能語(yǔ)音評(píng)測(cè)方法，其特征在于，包括以下步驟：

a.提供第一訓(xùn)練數(shù)據(jù)集，所述第一訓(xùn)練數(shù)據(jù)集包括測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集，所述測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集均包括音頻數(shù)據(jù)、文本數(shù)據(jù)及其對(duì)應(yīng)的音素集合，提供所述音素集合之間的映射關(guān)系；

b.訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，利用所述第一訓(xùn)練數(shù)據(jù)集對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集一同輸入到所述深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，以形成深度神經(jīng)網(wǎng)絡(luò)模型；

c.提供第二訓(xùn)練數(shù)據(jù)集，對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述第二訓(xùn)練數(shù)據(jù)集包括至少兩種語(yǔ)種數(shù)據(jù)集，定義一種語(yǔ)種數(shù)據(jù)集為測(cè)試語(yǔ)種數(shù)據(jù)集，其他語(yǔ)種數(shù)據(jù)集為對(duì)比語(yǔ)種數(shù)據(jù)集，所述測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集分別輸入到所述深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，所述測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集均包括音頻數(shù)據(jù)、文本數(shù)據(jù)及其對(duì)應(yīng)的音素集合；所述第二訓(xùn)練數(shù)據(jù)集的測(cè)試語(yǔ)種數(shù)據(jù)集和對(duì)比語(yǔ)種數(shù)據(jù)集分別被提供以進(jìn)行所述音素集合之間的映射；

d.獲取待評(píng)測(cè)語(yǔ)音，提取所述待評(píng)測(cè)語(yǔ)音的特征序列，將所述特征序列輸入到所述深度神經(jīng)網(wǎng)絡(luò)模型中；對(duì)所述待評(píng)測(cè)語(yǔ)音進(jìn)行識(shí)別以形成音素序列；

e.輸出對(duì)應(yīng)所述音素序列的評(píng)測(cè)分值；所述評(píng)測(cè)分值包括：

第一類節(jié)點(diǎn)，其對(duì)應(yīng)為使用所述第一訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練后的輸出評(píng)測(cè)分值；

第二類節(jié)點(diǎn)，其對(duì)應(yīng)為使用所述測(cè)試語(yǔ)種數(shù)據(jù)集進(jìn)行訓(xùn)練后的輸出評(píng)測(cè)分值；

第三類節(jié)點(diǎn)，其對(duì)應(yīng)為使用所述對(duì)比語(yǔ)種數(shù)據(jù)集進(jìn)行訓(xùn)練后的輸出評(píng)測(cè)分值；

f.通過線性融合或非線性融合的方式對(duì)所述第一類節(jié)點(diǎn)、第二類節(jié)點(diǎn)及第三類節(jié)點(diǎn)的評(píng)測(cè)分值進(jìn)行處理。

2.根據(jù)權(quán)利要求1所述的智能語(yǔ)音評(píng)測(cè)方法，其特征在于：在所述步驟f中，定義第一類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第一分值Score1，定義第二類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第二分值Score2，定義第三類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第三Score3；其中：

若第二分值Score2高于第三分值Score3且第二分值Score2與第三分值Score3的差值大，判斷獲取的語(yǔ)音為使用測(cè)試語(yǔ)種數(shù)據(jù)集對(duì)應(yīng)的語(yǔ)音，輸出第二分值Score2為評(píng)測(cè)結(jié)果；

若第二分值Score2高于第三分值Score3且第二分值Score2與第三分值Score3的差值小，則在對(duì)評(píng)測(cè)分值進(jìn)行處理時(shí)，需對(duì)第二分值Score2和第三分值Score3進(jìn)行加權(quán)處理以降低第三分值Score3對(duì)評(píng)測(cè)結(jié)果的影響，將加權(quán)處理后的結(jié)果作為評(píng)測(cè)結(jié)果進(jìn)行輸出；

若第二分值Score2低于第三分值Score3且第二分值Score2與第三分值Score3的差值大，判斷所獲取的待評(píng)測(cè)語(yǔ)音為利用其它語(yǔ)種形式閱讀形成，亦需要對(duì)第二分值Score2和第三分值Score3進(jìn)行加權(quán)處理以輸出正確的評(píng)測(cè)結(jié)果。

3.根據(jù)權(quán)利要求1所述的智能語(yǔ)音評(píng)測(cè)方法，其特征在于：在所述步驟f中，定義第一類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第一分值Score1，定義第二類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第二分值Score2，定義第三類節(jié)點(diǎn)輸出的評(píng)測(cè)分值為第三Score3；其中，利用線性疊加的原理進(jìn)行處理評(píng)測(cè)結(jié)果，包括：

第三分值Score3較高，第二分值Score2較低：評(píng)測(cè)結(jié)果S＝a*(Score2+Score3)，a取值為0.1或0.2；

第三分值Score3高，第二分值Score2偏高，但比第三分值Score3低：評(píng)測(cè)結(jié)果S＝a*(Score2+Score3)，a取值為0.3或0.4；

第三分值Score3很低，第二分值Score2很高：評(píng)測(cè)結(jié)果S＝a*(Score1+Score2)，a取值為0.5；這種情況說明待評(píng)測(cè)語(yǔ)音說的較為標(biāo)準(zhǔn)，第一分值Score1會(huì)較高。

4.根據(jù)權(quán)利要求1所述的智能語(yǔ)音評(píng)測(cè)方法，其特征在于：在所述步驟a中，不同語(yǔ)種發(fā)音相似的音素映射成一套音素集合，發(fā)音不能映射的音素標(biāo)記為單獨(dú)的音素。

5.根據(jù)權(quán)利要求4所述的智能語(yǔ)音評(píng)測(cè)方法，其特征在于：所述測(cè)試語(yǔ)種數(shù)據(jù)集為英文，所述對(duì)比語(yǔ)種數(shù)據(jù)集包括中文，中文帶調(diào)音素和英文音素映射為一套音素集合。