[發明專利]一種臉部驅動和直播方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110756772.8
• 申請日: 2021-07-05
• 公開（公告）號: CN113486787A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 林哲
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/55;G06T15/00;H04N5/265;H04N21/2187;H04N21/234;H04N21/426;H04N21/44;H04N21/4788
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李彩玲

本發明實施例公開了一種臉部驅動和直播方法、裝置、計算機設備和存儲介質。該方法包括：獲取源圖像和驅動圖像，源圖像和驅動圖像中包括不同對象的臉部數據；根據在源圖像中提取的臉部外觀特征，以及在驅動圖像中提取的臉部姿態表情特征，合成得到至少一張合成臉部圖像；根據各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標驅動圖像。本發明實施例的技術方案，實現了將源圖像與驅動圖像進行重組，進而驅動人臉表情在不同人臉模型下的呈現，可以應用于直播等應用場景，解決了現有的人臉驅動訓練難度大且質量低的問題。

技術領域

本發明實施例涉及人工智能技術領域，尤其涉及一種臉部驅動和直播方法、裝置、計算機設備和存儲介質。

背景技術

隨著人工智能技術的發展，智能終端廣泛應用于學習、娛樂以及工作等多方面。例如，可以通過智能終端進行直播，實現學習、娛樂或者工作等多方面的信息交互。

在直播、虛擬現實以及設計人物表情等相關應用中，可以通過當前人物的人臉驅動另一人物進行同種表情的呈現。

但是，現有技術中在進行人臉驅動時，需要通過視頻進行訓練，而視頻數據中背景在不斷變化，造成干擾因素多，致使人臉驅動訓練難度大且質量低。

發明內容

本發明實施例提供了一種臉部驅動和直播方法、裝置、計算機設備和存儲介質，可以降低人臉驅動訓練難度并提高人臉驅動質量。

第一方面，本發明實施例提供了一種臉部驅動方法，包括：

獲取源圖像和驅動圖像，源圖像和驅動圖像中包括不同對象的臉部數據；

根據在源圖像中提取的臉部外觀特征，以及在驅動圖像中提取的臉部姿態表情特征，合成得到至少一張合成臉部圖像；

根據各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標驅動圖像。

第二方面，本發明實施例還提供了一種直播方法，包括：

接收主播客戶端上傳的直播視頻數據，并在所述直播視頻數據中提取得到多個直播視頻幀，直播視頻幀中包括直播用戶的臉部數據；

獲取主播客戶端選定的參考圖像，參考圖像中包括設定對象的臉部數據；

根據在參考圖像中提取的臉部外觀特征，以及在各直播視頻幀中提取的臉部姿態表情特征，合成得到與各直播視頻幀分別對應的至少一張合成臉部圖像；

根據與各直播視頻幀對應的各合成臉部圖像的臉部特征，以及參考圖像的背景特征，合成得到與各直播視頻幀分別對應的目標驅動圖像；

使用各目標驅動圖像替換直播視頻數據中的各直播視頻幀后，在所述主播客戶端的直播間中發布所述直播視頻數據。

第三方面，本發明實施例還提供了一種臉部驅動裝置，包括：

圖像獲取模塊，用于獲取源圖像和驅動圖像，源圖像和驅動圖像中包括不同對象的臉部數據；

合成臉部圖像合成模塊，用于根據在源圖像中提取的臉部外觀特征，以及在驅動圖像中提取的臉部姿態表情特征，合成得到至少一張合成臉部圖像；

目標驅動圖像合成模塊，用于根據各合成臉部圖像的臉部特征，以及源圖像的背景特征，合成得到目標驅動圖像。

第四方面，本發明實施例還提供了一種直播裝置，包括：

直播視頻幀提取模塊，用于接收主播客戶端上傳的直播視頻數據，并在所述直播視頻數據中提取得到多個直播視頻幀，直播視頻幀中包括直播用戶的臉部數據；

參考圖像獲取模塊，用于獲取主播客戶端選定的參考圖像，參考圖像中包括設定對象的臉部數據；