[發(fā)明專利]發(fā)音測(cè)評(píng)方法、裝置、系統(tǒng)、介質(zhì)和計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910408727.6
• 申請(qǐng)日: 2019-05-16
• 公開（公告）號(hào): CN111951828A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 胡太;孫懌;沈欣堯;劉晨晨;崔守首;余津銳
• 申請(qǐng)（專利權(quán)）人: 上海流利說信息技術(shù)有限公司
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L25/57;G10L15/02;G10L15/25
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11304
• 代理人: 魏曉波

本發(fā)明的實(shí)施方式提供了一種發(fā)音測(cè)評(píng)方法。該方法包括：獲取用戶的發(fā)音視頻；從所述發(fā)音視頻中獲取有效視頻段；基于所述有效視頻段，獲取用戶的發(fā)音口型特征序列；根據(jù)用戶的發(fā)音口型特征序列與標(biāo)準(zhǔn)音口型特征序列按照預(yù)設(shè)計(jì)算方式得到發(fā)音口型分?jǐn)?shù)。本方法通過用戶發(fā)音時(shí)的圖像特征來評(píng)判用戶的發(fā)音是否準(zhǔn)確，而不是根據(jù)用戶發(fā)音的語音特征，避免了噪聲對(duì)語音識(shí)別的干擾，有效彌補(bǔ)語音識(shí)別在特定場(chǎng)景和任務(wù)下的不足，為用戶帶來了更好的體驗(yàn)。此外，本發(fā)明的實(shí)施方式還提供了一種發(fā)音測(cè)評(píng)裝置、系統(tǒng)、介質(zhì)和計(jì)算設(shè)備。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式涉及口語評(píng)測(cè)領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及一種發(fā)音測(cè)評(píng)方法、裝置、系統(tǒng)、介質(zhì)和計(jì)算設(shè)備。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

現(xiàn)有的發(fā)音打分技術(shù)多數(shù)都是基于語音識(shí)別的方法，這些方法利用語音特征來判別音標(biāo)發(fā)音的準(zhǔn)確性。早期主流的打分技術(shù)主要是基于隱馬爾科夫模型的語音識(shí)別引擎，利用其似然分?jǐn)?shù)值(likelihoodscore)以及其他相關(guān)的信息做為評(píng)分依據(jù)。其中，最經(jīng)典的GOP(GoodnessofPronunciation)方法是由麻省理工大學(xué)的SilkeWitt在他的博士論文中提出。之后的評(píng)分方法大都與GOP算法相似，或者是由它衍生出來。

在某些場(chǎng)景下，如環(huán)境嘈雜或用戶發(fā)出的聲音較小，僅僅利用基于語音的方法較難準(zhǔn)確地判別用戶發(fā)音是否正確。

發(fā)明內(nèi)容

為此，非常需要一種改進(jìn)的發(fā)音測(cè)評(píng)方法，使得即使用戶處于嘈雜環(huán)境等場(chǎng)景下，依然能夠準(zhǔn)確地判別用戶發(fā)音是否正確。

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種發(fā)音測(cè)評(píng)方法、裝置、介質(zhì)和計(jì)算設(shè)備。

在本發(fā)明實(shí)施方式的第一方面中，提供了一種發(fā)音測(cè)評(píng)方法，包括：

獲取用戶的發(fā)音視頻；

從所述發(fā)音視頻中獲取有效視頻段；

基于所述有效視頻段，獲取用戶的發(fā)音口型特征序列；

根據(jù)用戶的發(fā)音口型特征序列與標(biāo)準(zhǔn)音口型特征序列按照預(yù)設(shè)計(jì)算方式得到發(fā)音口型分?jǐn)?shù)。

在本發(fā)明的一個(gè)實(shí)施例中，從所述發(fā)音視頻中獲取有效視頻段，包括：

獲取所述用戶的發(fā)音視頻的視頻信號(hào)；

基于所述視頻信號(hào)的波動(dòng)，對(duì)所述發(fā)音視頻進(jìn)行裁剪，去除用戶未發(fā)音的視頻幀，以獲取有效視頻段。

在本發(fā)明的另一實(shí)施例中，采用基于z-score閾值匹配的方法對(duì)所述發(fā)音視頻進(jìn)行裁剪。

在本發(fā)明的又一個(gè)實(shí)施例中，基于所述有效視頻段，獲取用戶的發(fā)音口型特征序列，包括：

獲取所述有效視頻段中每一幀圖像的發(fā)音口型特征；

基于每一幀圖像的發(fā)音口型特征生成所述有效視頻段的發(fā)音口型特征序列。

在本發(fā)明的再一個(gè)實(shí)施例中，獲取所述有效視頻段中每一幀圖像的發(fā)音口型特征，包括：

基于每一幀圖像中嘴部區(qū)域的各個(gè)關(guān)鍵點(diǎn)到中心點(diǎn)的距離確定每一幀圖像的發(fā)音口型特征。

在本發(fā)明的再一個(gè)實(shí)施例中，所述中心點(diǎn)基于嘴型內(nèi)輪廓最高頂點(diǎn)與最低頂點(diǎn)以及最左頂點(diǎn)與最右頂點(diǎn)確認(rèn)。

在本發(fā)明的再一個(gè)實(shí)施例中，根據(jù)用戶的發(fā)音口型特征序列與標(biāo)準(zhǔn)音口型特征序列按照預(yù)設(shè)計(jì)算方式得到發(fā)音口型分?jǐn)?shù)，包括：

將用戶的發(fā)音口型特征序列與標(biāo)準(zhǔn)音口型特征序列對(duì)比，獲得用戶的發(fā)音口型特征序列與標(biāo)準(zhǔn)音口型特征序列的發(fā)音口型特征相似度；