[發明專利]人臉驅動和直播方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010161751.7
• 申請日: 2020-03-10
• 公開（公告）號: CN111402399A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 韓欣彤
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00;G06N3/04;H04N21/2187
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種人臉驅動和直播方法、裝置、電子設備及存儲介質。其中，人臉驅動方法包括：獲取原始圖像數據，原始圖像數據中具有人臉數據；獲取參考圖像數據，參考圖像數據中具有虛擬形象；對人臉數據識別人臉關鍵點；通過殘差鏈接將參考圖像數據重組為目標圖像數據，以將虛擬形象調整至人臉關鍵點所表征的姿態。本發明實施例的方案，實現了將原始人臉數據與虛擬形象進行重組，進而驅動虛擬形象，可以應用于直播等應用場景，解決了現有的人臉驅動成本較高并且靈活度較低的問題。

技術領域

本發明實施例涉及計算機視覺技術領域，尤其涉及一種人臉驅動和直播方法、裝置、電子設備及存儲介質。

背景技術

隨著社會的不斷發展，諸如手機、平板電腦等電子設備已經廣泛應用在學習、娛樂、工作等方面，扮演著越來越重要的角色。在這些電子設備中配置有攝像頭，可用于拍照、錄像或者直播等應用。

在直播、AR(Augmented Reality，增強現實)、制作表情等應用中，識別當前用戶的人臉狀態，從而驅動另一個人臉表達該人臉狀態。

但是，現有的人臉驅動方法需要依賴美工設計3D(3-Dimensional，三維)虛擬形象的以及為用戶配置動作捕捉設備捕捉用戶的動作，才能實現根據用戶的動作驅動3D虛擬形象。這種人臉驅動方式，成本較高并且靈活度較低。

發明內容

本發明實施例提供一種人臉驅動和直播方法、裝置、電子設備及存儲介質，以解決現有的人臉驅動成本較高并且靈活度較低的問題。

第一方面，本發明實施例提供了一種人臉驅動方法，該方法包括：

獲取原始圖像數據，所述原始圖像數據中具有原始人臉數據；

獲取參考圖像數據，所述參考圖像數據中具有虛擬形象；

對所述原始人臉數據識別原始人臉關鍵點；

通過殘差鏈接將所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態。

第二方面，本發明實施例還提供了一種直播方法，該方法包括：

接收主播客戶端上傳的原始直播數據，所述原始直播數據中具有視頻數據，所述視頻數據的原始圖像數據中具有主播用戶的原始人臉數據；

確定所述主播客戶端選定的參考圖像數據，所述參考圖像數據中具有虛擬形象；

對每幀所述原始圖像數據中的所述原始人臉數據識別原始人臉關鍵點；

通過殘差鏈接將每幀所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態；

根據所述目標圖像數據生成目標直播數據；

在所述主播用戶關聯的直播間中發布所述目標直播數據。

第三方面，本發明實施例還提供了一種直播方法，該方法包括：

在觀眾客戶端登錄直播間時，接收服務器發送的原始直播數據，所述原始直播數據中具有原始人臉關鍵點，所述原始人臉關鍵點提取自面對主播用戶采集的視頻數據；

確定所述觀眾客戶端選定的參考圖像數據，所述參考圖像數據中具有虛擬形象；

通過殘差鏈接將每幀所述參考圖像數據重組為目標圖像數據，以將所述虛擬形象調整至所述原始人臉關鍵點所表征的姿態；

在所述直播間的頁面中播放包含所述目標圖像數據的視頻數據與所述音頻數據。

第四方面，本發明實施例還提供了一種人臉驅動裝置，該裝置包括：

原始圖像數據獲取模塊，用于獲取原始圖像數據，所述原始圖像數據中具有原始人臉數據；