[發(fā)明專利]一種語(yǔ)音評(píng)價(jià)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710996819.1
• 申請(qǐng)日: 2017-10-20
• 公開（公告）號(hào): CN109697988B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 盧煬;賓曉皎;李明;蔡澤鑫
• 申請(qǐng)（專利權(quán)）人: 深圳市鷹碩教育服務(wù)有限公司
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L15/26;G09B5/04
• 代理公司: 深圳余梅專利代理事務(wù)所(特殊普通合伙) 44519
• 代理人: 井杰;高真輝

本發(fā)明提供一種語(yǔ)音評(píng)價(jià)方法，用于在語(yǔ)言學(xué)習(xí)過程中對(duì)用戶的語(yǔ)言發(fā)音進(jìn)行評(píng)價(jià)，包括以下步驟：步驟S101，通過語(yǔ)音評(píng)價(jià)裝置的錄音設(shè)備獲取用戶的語(yǔ)音輸入；步驟S102，對(duì)所錄制語(yǔ)音進(jìn)行基本語(yǔ)音單元?jiǎng)澐郑@得該錄制語(yǔ)音的語(yǔ)音單元序列；步驟S103，對(duì)所述語(yǔ)音單元序列進(jìn)行特征提取，獲取該語(yǔ)音單元序列的音律特征；步驟S104，將提取出的音律特征分別與教學(xué)示例語(yǔ)音以及語(yǔ)音預(yù)測(cè)模型預(yù)測(cè)的標(biāo)準(zhǔn)語(yǔ)音進(jìn)行對(duì)比分析；步驟S105，將語(yǔ)音對(duì)比結(jié)果標(biāo)注在用戶語(yǔ)音文本上。

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體教學(xué)技術(shù)領(lǐng)域，尤其涉及一種用于多媒體教學(xué)的語(yǔ)音評(píng)價(jià)方法及裝置。

背景技術(shù)

語(yǔ)言作為一種交流工具，在生活和工作中占有非常重要的地位，不論是學(xué)生在學(xué)校學(xué)習(xí)的階段還是人們?cè)诠ぷ鞯碾A段，口語(yǔ)學(xué)習(xí)都是人們非常重視的學(xué)習(xí)內(nèi)容。而隨著網(wǎng)絡(luò)教學(xué)的不斷普及，網(wǎng)絡(luò)授課的方式因不受時(shí)間和授課地點(diǎn)的約束，受到廣大用戶的喜愛。因此，目前很多用戶更愿意利用閑暇時(shí)間，通過網(wǎng)絡(luò)進(jìn)行語(yǔ)言學(xué)習(xí)。

在目前的網(wǎng)絡(luò)教學(xué)過程中，當(dāng)進(jìn)行發(fā)音練習(xí)時(shí)，一種方式是在視頻(或音頻)播放一段語(yǔ)音之后，給出一段空閑時(shí)間由用戶自行進(jìn)行跟讀練習(xí)；或者是采用錄音的方式，在學(xué)員跟讀之后向?qū)W員播放錄音，由學(xué)員自我評(píng)價(jià)發(fā)音是否準(zhǔn)確；或者還可以由老師進(jìn)行在線教學(xué)，針對(duì)學(xué)員的發(fā)音給出指導(dǎo)和建議。上述現(xiàn)有的教學(xué)方式，要么無(wú)法針對(duì)學(xué)員的發(fā)音給出針對(duì)性的指導(dǎo)意見，導(dǎo)致學(xué)習(xí)效果不佳，要么需要老師在線教學(xué)，需要大量的人力、物力和財(cái)力支持。

為解決上述問題，目前提出了根據(jù)語(yǔ)音預(yù)測(cè)模型對(duì)學(xué)員的語(yǔ)音進(jìn)行評(píng)價(jià)。CN101197084A公開了一種自動(dòng)化英語(yǔ)口語(yǔ)評(píng)測(cè)學(xué)習(xí)系統(tǒng)，其特征在于該系統(tǒng)包括有檢測(cè)口語(yǔ)發(fā)音部分，所述的檢測(cè)口語(yǔ)發(fā)音部分包括以下步驟：〔1〕標(biāo)準(zhǔn)發(fā)音人語(yǔ)料庫(kù)的建立：1)尋找英語(yǔ)標(biāo)準(zhǔn)發(fā)音人；2)根據(jù)英語(yǔ)口語(yǔ)學(xué)習(xí)要求及音素平衡的原則設(shè)計(jì)第一錄音文本；3)標(biāo)準(zhǔn)發(fā)音人對(duì)照錄音文本進(jìn)行錄音；〔2〕口語(yǔ)評(píng)測(cè)語(yǔ)料庫(kù)的收集：在模擬英語(yǔ)學(xué)習(xí)軟件應(yīng)用環(huán)境下，根據(jù)英語(yǔ)學(xué)習(xí)要求設(shè)計(jì)第二錄音文本，同時(shí)尋找一般發(fā)音人，并對(duì)一般發(fā)音人的口語(yǔ)發(fā)音進(jìn)行錄音；〔3〕口語(yǔ)評(píng)測(cè)語(yǔ)料庫(kù)的標(biāo)注：專家詳細(xì)標(biāo)注每個(gè)單詞中音素的發(fā)音是否正確；〔4〕標(biāo)準(zhǔn)語(yǔ)音聲學(xué)模型的建立：基于標(biāo)準(zhǔn)發(fā)音人語(yǔ)料庫(kù)中的錄音及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準(zhǔn)語(yǔ)音的聲學(xué)模型；〔5〕計(jì)算語(yǔ)音的檢錯(cuò)參數(shù)：1)提取語(yǔ)音的美爾倒譜系數(shù)參數(shù)；2)基于標(biāo)準(zhǔn)聲學(xué)模型，以及評(píng)測(cè)語(yǔ)料庫(kù)中的一般發(fā)音人錄音及其文本對(duì)應(yīng)的音素序列，將對(duì)一般發(fā)音人語(yǔ)音數(shù)據(jù)自動(dòng)切分成以音素為單位的各個(gè)音段，同時(shí)基于標(biāo)準(zhǔn)模型計(jì)算得到各音段作為該音素的第一似然值；3)用標(biāo)準(zhǔn)聲學(xué)模型對(duì)一般發(fā)音人語(yǔ)音的每個(gè)音段進(jìn)行識(shí)別，同時(shí)基于標(biāo)準(zhǔn)聲學(xué)模型計(jì)算得到該音段作為識(shí)別結(jié)果音素的第二似然值；4)將音段第一似然值除以第二似然值，得到該音段的似然比，作為該語(yǔ)音片段的檢錯(cuò)參數(shù)；〔6〕建立檢錯(cuò)參數(shù)向?qū)＜宜鶚?biāo)注發(fā)音錯(cuò)誤的檢錯(cuò)映射模型：在一批評(píng)測(cè)語(yǔ)音上，將各個(gè)音段評(píng)測(cè)參數(shù)和音段的共振峰序列與專家的詳細(xì)標(biāo)注進(jìn)行關(guān)聯(lián)，運(yùn)用統(tǒng)計(jì)的方法得到上述參數(shù)與專家詳細(xì)標(biāo)注的對(duì)應(yīng)關(guān)系，保存這些關(guān)系作為從檢錯(cuò)參數(shù)到專家發(fā)音錯(cuò)誤標(biāo)注之間的檢錯(cuò)映射模型。

CN101650886A公開了一種自動(dòng)檢測(cè)語(yǔ)言學(xué)習(xí)者朗讀錯(cuò)誤的方法，其特征在于，包含如下步驟：1)前端處理：對(duì)輸入語(yǔ)音進(jìn)行預(yù)處理，進(jìn)行特征提取，所提取特征為MFCC特征矢量；2)構(gòu)建精簡(jiǎn)搜索空間：將用戶所要朗讀的內(nèi)容作為參考答案，并根據(jù)參考答案、發(fā)音字典、多發(fā)音模型和聲學(xué)模型構(gòu)建精簡(jiǎn)的搜索空間；3)構(gòu)建朗讀語(yǔ)言模型：根據(jù)參考答案構(gòu)建用戶的朗讀語(yǔ)言模型，該語(yǔ)言模型描述用戶在朗讀該參考語(yǔ)句的時(shí)候可能朗讀的上下文內(nèi)容及其概率信息；4)搜索：在搜索空間中，根據(jù)聲學(xué)模型、朗讀語(yǔ)言模型和多發(fā)音模型搜索得到與輸入的特征矢量流最匹配的一條路徑，作為用戶的實(shí)際朗讀結(jié)果內(nèi)容，做成識(shí)別結(jié)果序列；5)對(duì)齊：將所述參考答案與識(shí)別結(jié)果進(jìn)行對(duì)齊，得到用戶多讀、漏讀、錯(cuò)讀的檢測(cè)結(jié)果。