[發(fā)明專利]樣本生成、模型訓(xùn)練、口型驅(qū)動(dòng)方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110642755.1
• 申請(qǐng)日: 2021-06-09
• 公開(kāi)（公告）號(hào): CN113314145A
• 公開(kāi)（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 陀得意;林哲;司季雨;韓欣彤;康世胤;劉峰;游于人;許佳
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙信息科技有限公司
• 主分類號(hào): G10L25/24
• 分類號(hào): G10L25/24;G10L25/30;G10L25/87;G06F40/30;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種訓(xùn)練樣本的生成方法，其特征在于，包括：

捕捉得到真實(shí)人物在講話過(guò)程中形成的語(yǔ)音片段和口型驅(qū)動(dòng)參數(shù)序列；

使用口型驅(qū)動(dòng)參數(shù)序列對(duì)虛擬人物進(jìn)行連續(xù)口型驅(qū)動(dòng)，并根據(jù)驅(qū)動(dòng)結(jié)果，將所述口型驅(qū)動(dòng)參數(shù)序列與所述語(yǔ)音片段進(jìn)行時(shí)間對(duì)齊；

識(shí)別語(yǔ)音片段中的各有效語(yǔ)音段的起止時(shí)間，并根據(jù)起止時(shí)間，在口型驅(qū)動(dòng)參數(shù)序列中分別確定與各有效語(yǔ)音段分別對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列；

根據(jù)與有效語(yǔ)音段對(duì)應(yīng)的內(nèi)容表征向量，以及與有效語(yǔ)音段對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列，形成用于訓(xùn)練得到口型驅(qū)動(dòng)參數(shù)識(shí)別模型的訓(xùn)練樣本對(duì)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述捕捉得到真實(shí)人物在講話過(guò)程中形成的語(yǔ)音片段和口型驅(qū)動(dòng)參數(shù)序列，包括：

通過(guò)語(yǔ)音采集設(shè)備捕捉得到真實(shí)人物在講話過(guò)程中形成的所述語(yǔ)音片段；

以及通過(guò)視頻采集設(shè)備捕捉得到真實(shí)人物在講話過(guò)程中形成的口型驅(qū)動(dòng)參數(shù)序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在識(shí)別語(yǔ)音片段中的各有效語(yǔ)音段的起止時(shí)間之前，還包括：

對(duì)所述語(yǔ)音片段進(jìn)行語(yǔ)義理解，根據(jù)語(yǔ)義理解結(jié)果對(duì)所述語(yǔ)音片段進(jìn)行分段；

剔除不包含語(yǔ)義信息的各無(wú)效語(yǔ)音片段，得到各所述有效語(yǔ)音段。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述識(shí)別語(yǔ)音片段中的各有效語(yǔ)音段的起止時(shí)間，并根據(jù)起止時(shí)間，在口型驅(qū)動(dòng)參數(shù)序列中分別確定與各有效語(yǔ)音段分別對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列，包括：

根據(jù)目標(biāo)有效語(yǔ)音段的屬性信息確定所述目標(biāo)有效語(yǔ)音段的目標(biāo)起止時(shí)間；

在口型驅(qū)動(dòng)參數(shù)序列中確定與所述目標(biāo)起止時(shí)間對(duì)應(yīng)的目標(biāo)口型驅(qū)動(dòng)參數(shù)子序列。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在口型驅(qū)動(dòng)參數(shù)序列中分別確定與各有效語(yǔ)音段分別對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列，還包括：

提取所述有效語(yǔ)音段的梅爾頻率倒譜系數(shù)MFCC，生成與所述有效語(yǔ)音段對(duì)應(yīng)的內(nèi)容表征向量；

根據(jù)所述內(nèi)容表征向量對(duì)所述口型驅(qū)動(dòng)參數(shù)序列進(jìn)行重采樣，并根據(jù)重采樣后的口型驅(qū)動(dòng)參數(shù)序列確定與有效語(yǔ)音段對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)與有效語(yǔ)音段對(duì)應(yīng)的內(nèi)容表征向量，以及與有效語(yǔ)音段對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列，形成用于訓(xùn)練得到口型驅(qū)動(dòng)參數(shù)識(shí)別模型的訓(xùn)練樣本對(duì)，包括：

將與所述有效語(yǔ)音段對(duì)應(yīng)的內(nèi)容表征向量，以及與所述有效語(yǔ)音段對(duì)應(yīng)的口型驅(qū)動(dòng)參數(shù)子序列進(jìn)行配對(duì)，形成用于訓(xùn)練得到口型驅(qū)動(dòng)參數(shù)識(shí)別模型的訓(xùn)練樣本對(duì)。

7.一種口型驅(qū)動(dòng)參數(shù)識(shí)別模型訓(xùn)練方法，其特征在于，包括：

將預(yù)先生成的多個(gè)訓(xùn)練樣本對(duì)輸入至神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行迭代訓(xùn)練；

生成口型驅(qū)動(dòng)參數(shù)識(shí)別模型；

其中，各所述訓(xùn)練樣本對(duì)由權(quán)利要求1-6中任一項(xiàng)所述的訓(xùn)練樣本的生成方法生成。

8.一種口型驅(qū)動(dòng)方法，其特征在于，包括：

獲取待播報(bào)的非靜音語(yǔ)音片段，并確定與所述非靜音語(yǔ)音片段對(duì)應(yīng)的內(nèi)容表征向量；

將所述內(nèi)容表征向量輸入至預(yù)先訓(xùn)練的口型驅(qū)動(dòng)參數(shù)識(shí)別模型中，得到與所述非靜音語(yǔ)音片段對(duì)應(yīng)的目標(biāo)口型序列；其中，所述口型驅(qū)動(dòng)參數(shù)識(shí)別模型由權(quán)利要求7所述的口型驅(qū)動(dòng)參數(shù)識(shí)別模型訓(xùn)練方法訓(xùn)練得到；

響應(yīng)于非靜音語(yǔ)音片段的播放指令，使用所述目標(biāo)口型序列對(duì)虛擬人物進(jìn)行連續(xù)口型驅(qū)動(dòng)。