[發(fā)明專利]一種口型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110378990.2
• 申請(qǐng)日: 2021-04-08
• 公開（公告）號(hào): CN113112575A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 劉莎;賀明泉;楊愛;高玥
• 申請(qǐng)（專利權(quán)）人: 深圳市山水原創(chuàng)動(dòng)漫文化有限公司
• 主分類號(hào): G06T13/00
• 分類號(hào): G06T13/00;G06F16/44;G06F16/483;G06F40/211;G10L15/26
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本申請(qǐng)涉及一種口型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，口型生成方法包括以下步驟：獲取語(yǔ)音信息；對(duì)語(yǔ)音信息進(jìn)行識(shí)別，以得到文字信息，并確認(rèn)該文字信息對(duì)應(yīng)的狀態(tài)信息；對(duì)文字信息進(jìn)行識(shí)別，得到該文字信息對(duì)應(yīng)的拼音字符串，并將拼音字符串劃分為聲母音素和韻母音素；從預(yù)存的口型庫(kù)內(nèi)找出與聲母音素、韻母音素對(duì)應(yīng)的聲母口型和韻母口型，并根據(jù)聲母口型、韻母口型合成相應(yīng)的漢字口型；根據(jù)狀態(tài)信息調(diào)整漢字口型的開口幅度，并控制角色模型作出相應(yīng)的口型動(dòng)作。本申請(qǐng)具有提高口型匹配的精準(zhǔn)度的效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及動(dòng)畫生成技術(shù)領(lǐng)域，尤其是涉及一種口型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著動(dòng)畫等娛樂(lè)產(chǎn)業(yè)的發(fā)展，在各種動(dòng)畫視頻中，通常會(huì)涉及到一些圖像顯示需要與音頻互相配合的對(duì)話場(chǎng)景，在對(duì)話場(chǎng)景中，常常需要播放場(chǎng)景角色對(duì)話的聲音，及呈現(xiàn)與對(duì)話音頻相配合的場(chǎng)景角色口型。

目前，一般通過(guò)聲音或文字自動(dòng)給場(chǎng)景角色配口型，最根本的是文字匹配口型。其中，聲音會(huì)轉(zhuǎn)換成文字，再?gòu)念A(yù)存的口型庫(kù)中找到對(duì)應(yīng)文字的口型，然后由控制器去控制角色模型作出相應(yīng)的口型動(dòng)作。

針對(duì)上述中的相關(guān)技術(shù)，發(fā)明人認(rèn)為存在有以下缺陷：口型庫(kù)內(nèi)的口型是不變的，而人們處于不同的狀態(tài)時(shí)，其說(shuō)話時(shí)口型會(huì)有一定的變化，導(dǎo)致口型匹配的精準(zhǔn)度不高。

發(fā)明內(nèi)容

為了提高口型匹配的精準(zhǔn)度，本申請(qǐng)?zhí)峁┝艘环N口型生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本申請(qǐng)?zhí)峁┮环N口型生成方法，采用如下的技術(shù)方案：

一種口型生成方法，包括以下步驟：

獲取語(yǔ)音信息；

對(duì)語(yǔ)音信息進(jìn)行識(shí)別，以得到文字信息，并確認(rèn)該文字信息對(duì)應(yīng)的狀態(tài)信息；

對(duì)文字信息進(jìn)行識(shí)別，得到該文字信息對(duì)應(yīng)的拼音字符串，并將拼音字符串劃分為聲母音素和韻母音素；

從預(yù)存的口型庫(kù)內(nèi)找出與聲母音素、韻母音素對(duì)應(yīng)的聲母口型和韻母口型，并根據(jù)聲母口型、韻母口型合成相應(yīng)的漢字口型；

根據(jù)狀態(tài)信息調(diào)整漢字口型的開口幅度，并控制角色模型作出相應(yīng)的口型動(dòng)作。

通過(guò)采用上述技術(shù)方案，導(dǎo)入音頻文件，對(duì)語(yǔ)音信息進(jìn)行識(shí)別，得到相應(yīng)的文字信息，并得到文字信息對(duì)應(yīng)的拼音字符串，將拼音字符串劃分為聲母音素和韻母音素，根據(jù)聲母口型、韻母口型合成相應(yīng)的漢字口型。通過(guò)設(shè)置聲母口型和韻母口型，更符合人們的日常發(fā)音，可提高口型匹配的精準(zhǔn)度。同時(shí)，根據(jù)說(shuō)話時(shí)的狀態(tài)來(lái)調(diào)整口型的開口幅度，可進(jìn)一步提高口型匹配的精準(zhǔn)度。

可選的，所述確認(rèn)該文字信息對(duì)應(yīng)的狀態(tài)信息，包括：

對(duì)文字信息進(jìn)行分句，得到分句文字；

獲取分句文字中的實(shí)時(shí)語(yǔ)速和實(shí)時(shí)音頻，對(duì)實(shí)時(shí)語(yǔ)速和實(shí)時(shí)音頻進(jìn)行分析，根據(jù)分析結(jié)果得到該分句文字對(duì)應(yīng)的狀態(tài)信息，所述狀態(tài)信息包括平常狀態(tài)和激動(dòng)狀態(tài)。

通過(guò)采用上述技術(shù)方案，人們處于激動(dòng)的時(shí)候，其說(shuō)話的語(yǔ)速、音頻與平常的不同，通過(guò)對(duì)實(shí)時(shí)語(yǔ)速和實(shí)時(shí)音頻進(jìn)行分析，進(jìn)而可判斷該分句文字所處的狀態(tài)。

可選的，所述獲取分句文字中的實(shí)時(shí)語(yǔ)速和實(shí)時(shí)音頻，對(duì)實(shí)時(shí)語(yǔ)速和實(shí)時(shí)音頻進(jìn)行分析，根據(jù)分析結(jié)果得到該分句文字對(duì)應(yīng)的狀態(tài)信息，所述狀態(tài)信息包括平常狀態(tài)和激動(dòng)狀態(tài)，包括：

獲取分句文字的總用時(shí)及分句文字的字?jǐn)?shù)，根據(jù)總用時(shí)和字?jǐn)?shù)得到該分句文字的實(shí)時(shí)語(yǔ)速，將該實(shí)時(shí)語(yǔ)速與預(yù)設(shè)語(yǔ)速進(jìn)行對(duì)比；

識(shí)別分句文字的實(shí)時(shí)音頻，將實(shí)時(shí)音頻與預(yù)定音頻進(jìn)行比對(duì)，并記錄實(shí)時(shí)音頻高于預(yù)定音頻的超頻時(shí)間；

當(dāng)實(shí)時(shí)語(yǔ)速大于預(yù)設(shè)語(yǔ)速，且超頻時(shí)間大于總用時(shí)的二分之一，則判斷為激動(dòng)狀態(tài)；否則，判斷為平常狀態(tài)。