[發(fā)明專利]人機(jī)對(duì)話口語(yǔ)測(cè)評(píng)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011100849.8
• 申請(qǐng)日: 2019-08-23
• 公開(kāi)（公告）號(hào): CN112232083A
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 王鑫;許昭慧
• 申請(qǐng)（專利權(quán)）人: 上海松鼠課堂人工智能科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/279;G06F40/211;G06F16/332;G06Q50/20;G09B7/02
• 代理公司: 上海中外企專利代理事務(wù)所(特殊普通合伙) 31387
• 代理人: 孫益青

本申請(qǐng)涉及一種人機(jī)對(duì)話口語(yǔ)測(cè)評(píng)系統(tǒng)，是一種基于人機(jī)對(duì)話、語(yǔ)音測(cè)評(píng)相關(guān)技術(shù)，應(yīng)用于口語(yǔ)測(cè)評(píng)以場(chǎng)景驅(qū)動(dòng)的任務(wù)導(dǎo)向型對(duì)話系統(tǒng)。本申請(qǐng)的測(cè)評(píng)系統(tǒng)具備三個(gè)主要特征：會(huì)話式、場(chǎng)景驅(qū)動(dòng)、和任務(wù)導(dǎo)向。通過(guò)與用戶的自然語(yǔ)言交流溝通的任務(wù)導(dǎo)向型對(duì)話系統(tǒng)，可以了解學(xué)生用戶實(shí)際運(yùn)用語(yǔ)言的能力和綜合運(yùn)用英語(yǔ)進(jìn)行交際的能力，對(duì)學(xué)生用戶的口語(yǔ)學(xué)習(xí)及教師進(jìn)行口語(yǔ)教學(xué)起到反撥效應(yīng)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種會(huì)話式人機(jī)交互口語(yǔ)測(cè)評(píng)系統(tǒng)。

背景技術(shù)

口語(yǔ)測(cè)試主要有兩種類型：面試和錄音口試。面試的效度較高，但組織起來(lái)耗時(shí)耗力，在大規(guī)?？谡Z(yǔ)考試中，采用人機(jī)交互的方式，考生只需通過(guò)計(jì)算機(jī)和耳麥設(shè)備完成對(duì)聽(tīng)力與口語(yǔ)試題的作答與全自動(dòng)智能評(píng)分，可從句子韻律性、完整性、準(zhǔn)確性等多維度進(jìn)行評(píng)判，并能生成卷面答題評(píng)測(cè)報(bào)告。

在線語(yǔ)培產(chǎn)品中，采用語(yǔ)音識(shí)別技術(shù)和語(yǔ)音評(píng)測(cè)技術(shù)也已相當(dāng)普遍，通過(guò)“聽(tīng)原音—跟讀/復(fù)述—系統(tǒng)評(píng)分—多色彩視覺(jué)反饋—調(diào)整”的方式，對(duì)比學(xué)生用戶的發(fā)音與機(jī)器的發(fā)音進(jìn)行評(píng)分，學(xué)生在反復(fù)的練習(xí)下，達(dá)到英語(yǔ)聽(tīng)力與發(fā)音提高的目的。

發(fā)明內(nèi)容

發(fā)明人經(jīng)過(guò)長(zhǎng)期的觀察和研究發(fā)現(xiàn)，英語(yǔ)口語(yǔ)不同于其他課程，它不是以傳授知識(shí)為主要目的，英語(yǔ)是知識(shí)、文化的載體，學(xué)生用戶需要使用語(yǔ)言表達(dá)思想，與人進(jìn)行交流，才能達(dá)到真正培養(yǎng)的目的。培養(yǎng)學(xué)生實(shí)際運(yùn)用語(yǔ)言的能力和提高綜合運(yùn)用英語(yǔ)進(jìn)行交際的能力，已成為英語(yǔ)口語(yǔ)主要的教學(xué)任務(wù)?？荚嚭蜏y(cè)評(píng)應(yīng)該服務(wù)于教學(xué)，然而，應(yīng)用于人機(jī)交互的英語(yǔ)測(cè)評(píng)技術(shù)還存在以下不足之處：

一、通過(guò)預(yù)錄的語(yǔ)音考題考察學(xué)生口語(yǔ)水平，形式死板單一，不僅題目都是事先規(guī)定好的，而且考試的內(nèi)容是指令式的，學(xué)生是被動(dòng)的接受考題和評(píng)分，應(yīng)試型口語(yǔ)考試通常都是學(xué)生說(shuō)、考官聽(tīng)，然后打一個(gè)分?jǐn)?shù)給學(xué)生，遠(yuǎn)遠(yuǎn)不能全面的反應(yīng)教與學(xué)的狀況。而面試中，考官與考生之間的情緒相互影響也會(huì)對(duì)評(píng)測(cè)的結(jié)果產(chǎn)生干擾。

二、傳統(tǒng)課堂或在線口語(yǔ)測(cè)評(píng)，是應(yīng)試型考試的終結(jié)性評(píng)量，是試題驅(qū)動(dòng)的測(cè)評(píng)體驗(yàn)，通過(guò)一次性的期末考試判定學(xué)生一學(xué)期的學(xué)習(xí)結(jié)果，或者通過(guò)學(xué)期開(kāi)始前的診斷測(cè)試，決定學(xué)生學(xué)習(xí)時(shí)所在的課程級(jí)別，然后學(xué)生再逐一往上升級(jí)。

三、學(xué)習(xí)中通過(guò)跟讀/復(fù)述活動(dòng)，學(xué)生用戶對(duì)比自己的發(fā)音與機(jī)器的發(fā)音，從評(píng)分反饋中反復(fù)修正自己發(fā)音的練習(xí)，對(duì)英語(yǔ)聽(tīng)力與發(fā)音是有所幫助，但對(duì)于學(xué)生實(shí)際運(yùn)用語(yǔ)言的能力和綜合運(yùn)用英語(yǔ)進(jìn)行交際的能力，卻無(wú)法通過(guò)現(xiàn)有的技術(shù)考察學(xué)生的實(shí)際水平，更產(chǎn)生不了對(duì)口語(yǔ)英語(yǔ)學(xué)習(xí)的啟發(fā)作用。

有鑒于現(xiàn)有技術(shù)的上述缺陷，本申請(qǐng)?zhí)峁┮环N會(huì)話式人機(jī)交互口語(yǔ)測(cè)評(píng)系統(tǒng)，是一種基于人機(jī)對(duì)話、語(yǔ)音測(cè)評(píng)相關(guān)技術(shù)，應(yīng)用于口語(yǔ)測(cè)評(píng)以場(chǎng)景驅(qū)動(dòng)的任務(wù)導(dǎo)向型對(duì)話系統(tǒng)。本申請(qǐng)的測(cè)評(píng)系統(tǒng)具備三個(gè)主要特征：會(huì)話式、場(chǎng)景驅(qū)動(dòng)、和任務(wù)導(dǎo)向。通過(guò)與用戶的自然語(yǔ)言交流溝通的任務(wù)導(dǎo)向型對(duì)話系統(tǒng)，可以了解學(xué)生用戶實(shí)際運(yùn)用語(yǔ)言的能力和綜合運(yùn)用英語(yǔ)進(jìn)行交際的能力，對(duì)學(xué)生用戶的口語(yǔ)學(xué)習(xí)及教師進(jìn)行口語(yǔ)教學(xué)起到反撥效應(yīng)。

本申請(qǐng)?zhí)峁┮环N會(huì)話式人機(jī)交互口語(yǔ)測(cè)評(píng)系統(tǒng)，包括對(duì)話系統(tǒng)，對(duì)話系統(tǒng)包括：語(yǔ)音識(shí)別模塊，語(yǔ)音識(shí)別模塊被配置為能夠識(shí)別用戶的語(yǔ)音輸入并轉(zhuǎn)換成文本；意圖理解模塊，意圖理解模塊被配置為能夠?qū)D(zhuǎn)換后的文本進(jìn)行語(yǔ)義理解，以識(shí)別用戶意圖；對(duì)話管理模塊，對(duì)話管理模塊被配置為能夠基于意圖理解模塊的理解結(jié)果產(chǎn)生相應(yīng)的系統(tǒng)動(dòng)作；語(yǔ)言生成模塊，語(yǔ)言生成模塊被配置為能夠?qū)?duì)話管理模塊產(chǎn)生的系統(tǒng)動(dòng)作轉(zhuǎn)化為自然語(yǔ)言；以及語(yǔ)言合成模塊，語(yǔ)言合成模塊被配置為能夠?qū)⒆匀徽Z(yǔ)言轉(zhuǎn)換成語(yǔ)音，并反饋給用戶。

在一些實(shí)施例中，可選的，意圖理解模塊進(jìn)一步被配置為能夠進(jìn)行槽位填充，其中，槽位是在對(duì)話過(guò)程中將用戶意圖轉(zhuǎn)化為明確的用戶指令所需要補(bǔ)全的信息。

在一些實(shí)施例中，可選的，意圖理解模塊進(jìn)一步被配置為能夠根據(jù)用戶畫(huà)像和/或場(chǎng)景化信息進(jìn)行用戶意圖理解。