[發(fā)明專利]一種發(fā)音測(cè)評(píng)方法、介質(zhì)、裝置和計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910405363.6
• 申請(qǐng)日: 2019-05-16
• 公開(kāi)（公告）號(hào): CN111951825A
• 公開(kāi)（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 楊曉飛;蔣成林;劉晨晨;沈欣堯;張欣;王治民;鄧雅惠;高慧朝
• 申請(qǐng)（專利權(quán)）人: 上海流利說(shuō)信息技術(shù)有限公司
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L15/02
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11304
• 代理人: 魏曉波

本發(fā)明的實(shí)施方式提供了一種發(fā)音測(cè)評(píng)方法、裝置、介質(zhì)和計(jì)算設(shè)備。該方法包括：從用戶針對(duì)于測(cè)評(píng)內(nèi)容的待測(cè)發(fā)音音頻中提取至少一個(gè)音頻數(shù)據(jù)段；獲取至少一個(gè)音頻數(shù)據(jù)段對(duì)應(yīng)的時(shí)間邊界和相應(yīng)時(shí)間邊界內(nèi)的聲學(xué)似然度；獲取至少一個(gè)音頻數(shù)據(jù)段對(duì)應(yīng)的待測(cè)音素特征序列；基于時(shí)間邊界、混淆音素表和混淆音素對(duì)應(yīng)的閾值，從待測(cè)音素特征序列中識(shí)別出與測(cè)評(píng)內(nèi)容的標(biāo)準(zhǔn)音素特征序列不一致的待糾正音素；若對(duì)應(yīng)時(shí)間邊界內(nèi)存在待糾正音素，并且聲學(xué)似然度大于預(yù)設(shè)門(mén)限，則基于待糾正音素調(diào)整對(duì)應(yīng)的得分。本方法可以大大提高對(duì)發(fā)音音頻中混淆音素的識(shí)別率，為用戶提供更有針對(duì)性的發(fā)音測(cè)評(píng)反饋，改善用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式涉及軟件領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及 一種發(fā)音測(cè)評(píng)方法、介質(zhì)、裝置和計(jì)算設(shè)備。

背景技術(shù)

本部分旨在為權(quán)利要求書(shū)中陳述的本發(fā)明的實(shí)施方式提供背景或上 下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

在語(yǔ)言學(xué)習(xí)的過(guò)程中，學(xué)習(xí)正確的口語(yǔ)發(fā)音也是非常重要的一部分， 然而在之前幾年，口語(yǔ)學(xué)習(xí)只能跟隨線下的老師進(jìn)行，隨著技術(shù)的發(fā)展， 線上的口語(yǔ)學(xué)習(xí)成為一種趨勢(shì)，近幾年口語(yǔ)發(fā)音測(cè)評(píng)打分和糾正主要建立 在語(yǔ)音特征的表示上。

然而，現(xiàn)有的發(fā)音測(cè)評(píng)方案大多采用的是沿用由劍橋大學(xué)的Silke Witt 在他的博士論文中提出經(jīng)典的GOP(Goodness of Pronunciation)算法，或 者是由其衍生出來(lái)的其他方案。這些現(xiàn)有的發(fā)音測(cè)評(píng)方案大多采用CE(交 叉熵，Cross Entropy)準(zhǔn)則訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型或者更老的GMM模型來(lái) 計(jì)算用戶發(fā)音的似然度得分，而CE模型對(duì)音素識(shí)別的準(zhǔn)確率低，無(wú)法針 對(duì)用戶發(fā)音時(shí)容易混淆、或誤發(fā)的音素進(jìn)行識(shí)別糾正。

發(fā)明內(nèi)容

由于現(xiàn)有的發(fā)音測(cè)評(píng)方案采用CE模型來(lái)計(jì)算用戶發(fā)音的似然度得 分，而CE模型對(duì)音素識(shí)別的準(zhǔn)確率低，無(wú)法針對(duì)用戶發(fā)音時(shí)容易混淆、 或誤發(fā)的音素進(jìn)行識(shí)別糾正。因此非常需要一種改進(jìn)的發(fā)音測(cè)評(píng)方法，用 以提升音素識(shí)別的準(zhǔn)確性，解決上述技術(shù)問(wèn)題。

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種發(fā)音測(cè)評(píng)方法、裝置、 介質(zhì)和計(jì)算設(shè)備。

在本發(fā)明實(shí)施方式的第一方面中，提供了一種發(fā)音測(cè)評(píng)方法，包括： 從用戶針對(duì)于測(cè)評(píng)內(nèi)容的待測(cè)發(fā)音音頻中提取至少一個(gè)音頻數(shù)據(jù)段；獲取 至少一個(gè)音頻數(shù)據(jù)段對(duì)應(yīng)的時(shí)間邊界和相應(yīng)時(shí)間邊界內(nèi)的聲學(xué)似然度；獲 取至少一個(gè)音頻數(shù)據(jù)段對(duì)應(yīng)的待測(cè)音素特征序列；基于時(shí)間邊界、混淆音 素表和混淆音素對(duì)應(yīng)的閾值，從待測(cè)音素特征序列中識(shí)別出與測(cè)評(píng)內(nèi)容的 標(biāo)準(zhǔn)音素特征序列不一致的待糾正音素；若對(duì)應(yīng)時(shí)間邊界內(nèi)存在待糾正音 素，并且聲學(xué)似然度大于預(yù)設(shè)門(mén)限，則基于待糾正音素調(diào)整對(duì)應(yīng)的得分。

在本發(fā)明的再一個(gè)實(shí)施例中，發(fā)音測(cè)評(píng)方法還包括：基于待糾正音素 和/或調(diào)整后的得分來(lái)確定向用戶推送的發(fā)音糾錯(cuò)內(nèi)容，其中發(fā)音糾錯(cuò)內(nèi)容 用于指示用戶對(duì)待糾正音素進(jìn)行改進(jìn)練習(xí)。

在本發(fā)明的再一個(gè)實(shí)施例中，采用音素識(shí)別網(wǎng)絡(luò)來(lái)獲取至少一個(gè)音頻 數(shù)據(jù)段對(duì)應(yīng)的待測(cè)音素特征序列。

在本發(fā)明的再一個(gè)實(shí)施例中，由測(cè)評(píng)內(nèi)容中的至少一個(gè)單詞、發(fā)音詞 典和混淆音素表構(gòu)建成音素識(shí)別網(wǎng)絡(luò)；且音素識(shí)別網(wǎng)絡(luò)中每一網(wǎng)絡(luò)路徑的 詞圖權(quán)重根據(jù)預(yù)先錄入的開(kāi)發(fā)集進(jìn)行調(diào)整。

在本發(fā)明的再一個(gè)實(shí)施例中，由測(cè)評(píng)內(nèi)容中的至少一個(gè)單詞、發(fā)音詞 典和混淆音素表構(gòu)建成音素識(shí)別網(wǎng)絡(luò)；且音素識(shí)別網(wǎng)絡(luò)中每一網(wǎng)絡(luò)路徑的 詞圖權(quán)重根據(jù)預(yù)先錄入的開(kāi)發(fā)集進(jìn)行調(diào)整。

在本發(fā)明的再一個(gè)實(shí)施例中，基于時(shí)間邊界、混淆音素表和混淆音素 對(duì)應(yīng)的閾值，從待測(cè)音素特征序列中識(shí)別出與測(cè)評(píng)內(nèi)容的標(biāo)準(zhǔn)音素特征序 列不一致的待糾正音素，包括：

獲取基于測(cè)評(píng)內(nèi)容生成的標(biāo)準(zhǔn)音素特征序列；