[發(fā)明專利]語(yǔ)音交互的方法、語(yǔ)音交互的裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211065134.2
• 申請(qǐng)日: 2022-09-01
• 公開（公告）號(hào): CN115424606A
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 林琦;謝園園;唐雄飛;李健;陳明;武衛(wèi)東
• 申請(qǐng)（專利權(quán)）人: 北京捷通華聲科技股份有限公司
• 主分類號(hào): G10L15/00
• 分類號(hào): G10L15/00;G10L15/26;G10L15/18;G10L15/16;G10L25/24
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 霍文娟

本申請(qǐng)?zhí)峁┝艘环N語(yǔ)音交互的方法、語(yǔ)音交互的裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：獲取說(shuō)話者的語(yǔ)音信息；對(duì)語(yǔ)音信息進(jìn)行識(shí)別，確定語(yǔ)音信息對(duì)應(yīng)的目標(biāo)方言；至少根據(jù)語(yǔ)音信息，確定與說(shuō)話者匹配的講話風(fēng)格；根據(jù)講話風(fēng)格和語(yǔ)音信息生成回復(fù)信息，并控制音頻播報(bào)設(shè)備播放回復(fù)信息對(duì)應(yīng)的語(yǔ)音，控制音頻播報(bào)設(shè)備播放回復(fù)信息對(duì)應(yīng)的語(yǔ)音是采用目標(biāo)方言進(jìn)行播報(bào)的。該方案中，對(duì)說(shuō)話者的語(yǔ)音進(jìn)行識(shí)別，可以生成符合說(shuō)話者的方言特征的回復(fù)信息，這樣可以使用說(shuō)話者的方言與說(shuō)話者進(jìn)行交流，并且可以自動(dòng)匹配合適的講話風(fēng)格，這樣回答說(shuō)話者的問(wèn)題時(shí)候回復(fù)內(nèi)容的相似度較低，是個(gè)性化的回復(fù)，改善了用戶的體驗(yàn)效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及語(yǔ)音合成技術(shù)領(lǐng)域，具體而言，涉及一種語(yǔ)音交互的方法、語(yǔ)音交互的裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

我國(guó)地大物博，地區(qū)遼闊，現(xiàn)代漢語(yǔ)在不同地區(qū)有著語(yǔ)音、語(yǔ)法、習(xí)慣用語(yǔ)的眾多差異。不同地區(qū)的人在使用對(duì)話助手系統(tǒng)時(shí)，大多需要使用普通話與對(duì)話助手進(jìn)行交互，即使能使用方言與對(duì)話助手交流，對(duì)話助手也只是將方言轉(zhuǎn)換成普通話后，經(jīng)過(guò)自然語(yǔ)音理解，使用統(tǒng)一的標(biāo)準(zhǔn)話術(shù)回復(fù)，無(wú)法達(dá)到人與人之間親切自然地溝通，在語(yǔ)義理解上，對(duì)話助手直接使用方言系統(tǒng)，這樣會(huì)導(dǎo)致每個(gè)方言系統(tǒng)都需要單獨(dú)訓(xùn)練方言模型，整個(gè)系統(tǒng)的擴(kuò)展性較差，且播報(bào)音色大多數(shù)為普通話。因此，目前的對(duì)話助手中，由于無(wú)法使用方言與用戶進(jìn)行交流，回答用戶的問(wèn)題時(shí)回復(fù)內(nèi)容的相似度較高，導(dǎo)致用戶的體驗(yàn)效果較差。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種語(yǔ)音交互的方法、語(yǔ)音交互的裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中目前的對(duì)話助手中，由于無(wú)法使用方言與用戶進(jìn)行交流，回答用戶的問(wèn)題時(shí)回復(fù)內(nèi)容的相似度較高，導(dǎo)致用戶的體驗(yàn)效果較差的問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種語(yǔ)音交互的方法，包括：獲取說(shuō)話者的語(yǔ)音信息，所述語(yǔ)音信息是指所述說(shuō)話者在說(shuō)話的過(guò)程中發(fā)出的語(yǔ)音的信息；對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別，確定所述語(yǔ)音信息對(duì)應(yīng)的目標(biāo)方言；至少根據(jù)所述語(yǔ)音信息，確定與所述說(shuō)話者匹配的講話風(fēng)格，所述講話風(fēng)格是指所述說(shuō)話者的口語(yǔ)習(xí)慣的風(fēng)格；根據(jù)所述講話風(fēng)格和所述語(yǔ)音信息生成回復(fù)信息，并控制音頻播報(bào)設(shè)備播放所述回復(fù)信息對(duì)應(yīng)的語(yǔ)音，其中，所述回復(fù)信息是對(duì)應(yīng)所述說(shuō)話者的所述語(yǔ)音信息的回復(fù)內(nèi)容的信息，控制所述音頻播報(bào)設(shè)備播放所述回復(fù)信息對(duì)應(yīng)的語(yǔ)音是采用所述目標(biāo)方言進(jìn)行播報(bào)的。

可選地，對(duì)所述語(yǔ)音信息進(jìn)行識(shí)別，確定所述語(yǔ)音信息對(duì)應(yīng)的目標(biāo)方言，包括：采集初始語(yǔ)音數(shù)據(jù)，根據(jù)所述初始語(yǔ)音數(shù)據(jù)構(gòu)建方言庫(kù)，所述初始語(yǔ)音數(shù)據(jù)包括多個(gè)地區(qū)的方言的語(yǔ)音數(shù)據(jù)，一個(gè)所述方言庫(kù)包括一種方言的語(yǔ)音數(shù)據(jù)；對(duì)所述初始語(yǔ)音數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練語(yǔ)音數(shù)據(jù)，所述預(yù)處理包括以下至少之一：分詞處理、過(guò)濾非方言數(shù)據(jù)處理、去停用詞處理；構(gòu)建方言識(shí)別模型，其中，所述方言識(shí)別模型是使用多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到的，所述多組訓(xùn)練數(shù)據(jù)中的每一組訓(xùn)練數(shù)據(jù)均包括所述訓(xùn)練語(yǔ)音數(shù)據(jù)和所述訓(xùn)練語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的方言；將所述語(yǔ)音信息輸入至所述方言識(shí)別模型中進(jìn)行識(shí)別，得到識(shí)別結(jié)果，其中，所述識(shí)別結(jié)果是指所述語(yǔ)音信息對(duì)應(yīng)的所述目標(biāo)方言。

可選地，將所述語(yǔ)音信息輸入至所述方言識(shí)別模型中進(jìn)行識(shí)別，得到識(shí)別結(jié)果，包括：從多個(gè)所述方言中選取出與所述語(yǔ)音信息相似度大于或者等于相似度閾值的多個(gè)初始方言；從多個(gè)所述初始方言中選取出所述相似度最大的所述目標(biāo)方言，得到目標(biāo)識(shí)別結(jié)果。

可選地，至少根據(jù)所述語(yǔ)音信息，確定與所述說(shuō)話者匹配的講話風(fēng)格，包括：獲取預(yù)先輸入的所述說(shuō)話者的特征信息，所述特征信息包括以下至少之一：性別、年齡、職業(yè)、民族、地區(qū)、興趣；根據(jù)所述說(shuō)話者的所述特征信息構(gòu)建用戶畫像；將所述說(shuō)話者的所述語(yǔ)音信息轉(zhuǎn)換為目標(biāo)文本信息，所述目標(biāo)文本信息是指目標(biāo)語(yǔ)言的所述語(yǔ)音信息對(duì)應(yīng)的文本信息；根據(jù)所述用戶畫像、所述目標(biāo)文本信息和所述語(yǔ)音信息，確定與所述說(shuō)話者匹配的所述講話風(fēng)格。