[發(fā)明專利]人臉重構(gòu)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010165492.5
• 申請(qǐng)日: 2020-03-11
• 公開(kāi)（公告）號(hào): CN111402352A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 王文斕
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06K9/00;H04N21/2187
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人臉重構(gòu)方法，其特征在于，包括：

獲取目標(biāo)觀眾對(duì)直播視頻流中主播人臉的人臉重構(gòu)參數(shù)；

根據(jù)所述人臉重構(gòu)參數(shù)，生成與所述主播人臉匹配的重構(gòu)人臉；

將所述直播視頻流中的主播人臉替換為所述重構(gòu)人臉后，提供給所述目標(biāo)觀眾進(jìn)行顯示。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取目標(biāo)觀眾對(duì)直播視頻流中主播人臉的人臉重構(gòu)參數(shù)，包括：

響應(yīng)于所述目標(biāo)觀眾的主播人臉重構(gòu)請(qǐng)求，將人臉重構(gòu)參數(shù)設(shè)置界面提供給所述目標(biāo)觀眾，所述人臉重構(gòu)參數(shù)設(shè)置界面中包括至少一個(gè)人臉重構(gòu)設(shè)置項(xiàng)；

響應(yīng)于所述目標(biāo)觀眾針對(duì)各所述人臉重構(gòu)設(shè)置項(xiàng)的輸入設(shè)置，獲取目標(biāo)觀眾對(duì)直播視頻流中主播人臉的人臉重構(gòu)參數(shù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，根據(jù)所述人臉重構(gòu)參數(shù)，生成與所述主播人臉匹配的重構(gòu)人臉，包括：

獲取與所述直播視頻流中主播人臉對(duì)應(yīng)的基礎(chǔ)人臉特征集；

根據(jù)所述人臉重構(gòu)參數(shù)，對(duì)所述基礎(chǔ)人臉特征集進(jìn)行調(diào)整，生成重構(gòu)人臉特征集；

根據(jù)所述重構(gòu)人臉特征集，生成與所述主播人臉匹配的重構(gòu)人臉。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述人臉重構(gòu)參數(shù)設(shè)置界面中的每個(gè)所述人臉重構(gòu)設(shè)置項(xiàng)，與所述基礎(chǔ)人臉特征集中的一個(gè)或者多個(gè)人臉特征關(guān)聯(lián)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述直播視頻流中的主播人臉替換為所述重構(gòu)人臉后，提供給所述目標(biāo)觀眾進(jìn)行顯示，包括：

將所述重構(gòu)人臉與所述直播視頻流中的主播人臉進(jìn)行融合，生成重構(gòu)融合視頻流；

將所述重構(gòu)融合視頻流提供給所述目標(biāo)觀眾進(jìn)行顯示。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在獲取目標(biāo)觀眾對(duì)直播視頻流中主播人臉的人臉重構(gòu)參數(shù)之前，還包括：

獲取主播端發(fā)送的混合數(shù)據(jù)流，混合數(shù)據(jù)流包括：原始視頻流，以及與原始視頻流中主播人臉對(duì)應(yīng)的基礎(chǔ)人臉特征集；

根據(jù)所述混合數(shù)據(jù)流中的基礎(chǔ)人臉特征集，生成主播基礎(chǔ)人臉；

將所述主播基礎(chǔ)人臉與所述原始視頻流中的主播人臉進(jìn)行融合，生成基礎(chǔ)融合視頻流；

將所述基礎(chǔ)融合視頻流作為直播視頻流，提供給所述目標(biāo)觀眾。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述人臉重構(gòu)參數(shù)，對(duì)所述基礎(chǔ)人臉特征集進(jìn)行調(diào)整，生成重構(gòu)人臉特征集，包括：

根據(jù)所述人臉重構(gòu)參數(shù)，以及預(yù)設(shè)的人臉重構(gòu)參數(shù)與特征修正值之間的映射關(guān)系，確定至少一項(xiàng)特征修正值；

根據(jù)所述特征修正值，以及與所述特征修正值匹配的修正方向，對(duì)所述基礎(chǔ)人臉特征集進(jìn)行調(diào)整，生成重構(gòu)人臉特征集。

8.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述人臉重構(gòu)參數(shù)，對(duì)所述基礎(chǔ)人臉特征集進(jìn)行調(diào)整，生成重構(gòu)人臉特征集，包括：

根據(jù)所述人臉重構(gòu)參數(shù)，確定至少一項(xiàng)替換人臉特征；

根據(jù)所述替換人臉特征，替換所述基礎(chǔ)人臉特征集中對(duì)應(yīng)的基礎(chǔ)人臉特征，生成重構(gòu)人臉特征集。

9.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述重構(gòu)人臉特征集，生成與所述主播人臉匹配的重構(gòu)人臉，包括：

將所述重構(gòu)人臉特征集輸入至人臉生成器中，得到與所述主播人臉匹配的重構(gòu)人臉；

其中，所述人臉生成器中包括多個(gè)相連的卷積層，所述重構(gòu)人臉特征集中的各重構(gòu)人臉特征分別作為各所述卷積層的輸入；所述重構(gòu)人臉特征與人臉屬性關(guān)聯(lián)。

10.一種人臉重構(gòu)裝置，其特征在于，包括：

人臉重構(gòu)參數(shù)獲取模塊，用于獲取目標(biāo)觀眾對(duì)直播視頻流中主播人臉的人臉重構(gòu)參數(shù)；

重構(gòu)人臉生成模塊，用于根據(jù)所述人臉重構(gòu)參數(shù)，生成與所述主播人臉匹配的重構(gòu)人臉；

替換顯示模塊，用于將所述直播視頻流中的主播人臉替換為所述重構(gòu)人臉后，提供給所述目標(biāo)觀眾進(jìn)行顯示。