[發(fā)明專利]虛擬主播生成方法、裝置和終端設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110373022.2
• 申請(qǐng)日: 2021-04-07
• 公開（公告）號(hào): CN113095206A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 董煉
• 申請(qǐng)（專利權(quán)）人: 廣州華多網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06F16/583;G06T19/00;G06T19/20
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 沈闖

1.一種虛擬主播生成方法，其特征在于，所述方法包括：

獲取某一直播間當(dāng)前主播的臉部數(shù)據(jù)，對(duì)所述臉部數(shù)據(jù)進(jìn)行處理得到當(dāng)前主播的臉部圖像；

根據(jù)所述當(dāng)前主播的臉部圖像提取臉型特征，根據(jù)所述臉型特征從臉型模型庫(kù)中選擇出至少一個(gè)臉型模型；

獲取當(dāng)前主播的模型選擇指令和模型調(diào)整指令，根據(jù)所述模型選擇指令從至少一個(gè)所述臉型模型選出相應(yīng)的臉型模型，并根據(jù)所述模型調(diào)整指令對(duì)所述相應(yīng)的臉型模型進(jìn)行調(diào)整，生成虛擬主播。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述臉型模型庫(kù)的建立方法，包括：

獲取骨骼模型圖像樣本，對(duì)所述骨骼模型圖像樣本進(jìn)行分析生成多個(gè)臉型模型；

根據(jù)多個(gè)所述臉型模型構(gòu)建所述臉型模型庫(kù)，其中每一個(gè)所述臉型模型對(duì)應(yīng)一個(gè)臉型特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述臉型特征從臉型模型庫(kù)中選擇出至少一個(gè)臉型模型的步驟中，包括：

根據(jù)所述臉型特征和所述臉型模型庫(kù)中各所述臉型模型的臉型特征計(jì)算當(dāng)前主播的臉型與各所述臉型模型的相似度；

根據(jù)當(dāng)前主播的臉型與各所述臉型模型的相似度，選擇出至少一個(gè)所述臉型模型。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述臉型特征從臉型模型庫(kù)中選擇出至少一個(gè)臉型模型的步驟中，包括：

根據(jù)所述臉型特征的特征值與所述臉型模型庫(kù)中各所述臉型模型的臉型特征的特征值計(jì)算所述臉型特征的特征值與各所述臉型模型的臉型特征的特征值的差值；

選擇出所述差值小于預(yù)設(shè)閾值的所述臉型模型。

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，在根據(jù)所述當(dāng)前主播的臉部圖像提取臉型特征的步驟中，包括：

對(duì)所述當(dāng)前主播的臉部圖像采用深度學(xué)習(xí)3DMM方法進(jìn)行圖像重建，得到當(dāng)前主播的人臉模型；

根據(jù)所述當(dāng)前主播的人臉模型得到所述臉型特征。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在對(duì)所述當(dāng)前主播的臉部圖像采用所述深度學(xué)習(xí)3DMM方法進(jìn)行圖像重建，得到當(dāng)前主播的人臉模型的步驟中，包括：

采用CNN算法根據(jù)所述當(dāng)前主播的臉部圖像來調(diào)整3DMM人臉模型參數(shù)，得到所述當(dāng)前主播的人臉模型。

7.根據(jù)權(quán)利要求6所述所述的方法，其特征在于，還包括：

獲取所述當(dāng)前主播的聲音數(shù)據(jù)和/或動(dòng)作數(shù)據(jù)；

將所述聲音數(shù)據(jù)和/或動(dòng)作數(shù)據(jù)疊加至所述虛擬主播，生成虛擬主播的視頻畫面，并以虛擬主播的視頻畫面為各用戶進(jìn)行直播。

8.一種虛擬主播生成裝置，其特征在于，所述裝置包括：

臉部數(shù)據(jù)獲取模塊，用于獲取某一直播間當(dāng)前主播的臉部數(shù)據(jù)；

臉部圖像獲得模塊，用于對(duì)所述臉部數(shù)據(jù)進(jìn)行處理得到當(dāng)前主播的臉部圖像；

特征提取模塊，用于根據(jù)所述當(dāng)前主播的臉部圖像提取臉型特征；

第一臉型模型選擇模塊，用于根據(jù)所述臉型特征從臉型模型庫(kù)中選擇出至少一個(gè)臉型模型；

指令獲取模塊，用于獲取當(dāng)前主播的模型選擇指令和模型調(diào)整指令；

第二臉型模型選擇模塊，用于根據(jù)所述模型選擇指令從至少一個(gè)所述臉型模型選出相應(yīng)的臉型模型；

虛擬主播生成模塊，用于根據(jù)所述模型調(diào)整指令對(duì)所述相應(yīng)的臉型模型進(jìn)行調(diào)整，生成虛擬主播。

9.一種終端設(shè)備，其特征在于，包括：

存儲(chǔ)器；一個(gè)或多個(gè)處理器，與所述存儲(chǔ)器耦接；一個(gè)或多個(gè)應(yīng)用程序，其中，一個(gè)或多個(gè)應(yīng)用程序被存儲(chǔ)在存儲(chǔ)器中并被配置為由一個(gè)或多個(gè)處理器執(zhí)行，一個(gè)或多個(gè)應(yīng)用程序配置用于執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中存儲(chǔ)有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的方法。