[發明專利]一種基于普通攝像頭的無穿戴虛擬直播方法及設備

有效

• 申請號: 202010739818.0
• 申請日: 2020-07-28
• 公開（公告）號: CN112102451B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 馮志強
• 申請（專利權）人: 北京云舶在線科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/045;G06N3/08
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

1.一種基于普通攝像頭的無穿戴虛擬直播方法，其特征在于，所述方法包括：

根據骨骼點三維坐標識別網絡模型，并基于與主播有關的二維平面圖像數據，確定主播臉部的若干特征點，在第一預設三維坐標系下的三維坐標；其中，所述骨骼點三維坐標識別網絡模型中包括三維坐標輸出層；所述三維坐標輸出層用于接收歸一化后的高斯熱圖，并通過以下公式輸出所述主播臉部的若干特征點在第一預設三維坐標系下的三維坐標：

其中，表示第n個特征點的x軸的坐標；表示第n個特征點的y軸的坐標；表示第n個特征點的z軸的坐標；為第n個特征點對應的歸一化后的高斯熱圖；W為的寬度；H為的高度；D為的深度；

計算所述主播臉部的若干特征點在第一預設三維坐標系下，相對于根骨骼點的三維坐標偏移量；并計算任意兩個相鄰特征點之間的骨骼與其對應的上一級骨骼之間的骨骼夾角；

在第二預設三維坐標系中，確定虛擬角色臉部的若干特征點的三維坐標；并計算所述虛擬角色臉部的若干特征點相對于根骨骼點的三維坐標偏移量，以及任意兩個相鄰特征點之間的骨骼與其對應的上一級骨骼之間的骨骼夾角；

基于所述主播臉部的若干特征點對應的三維坐標偏移量及骨骼夾角，以及所述虛擬角色臉部的若干特征點對應的三維坐標偏移量及骨骼夾角，通過表情骨骼重定向網絡模型，確定所述虛擬角色臉部的若干特征點在第二預設三維坐標系下的目標三維坐標；其中，所述表情骨骼重定向網絡模型包括數據輸入層、卷積層、目標三維坐標輸出層；其中，所述數據輸入層用于將所述主播臉部的若干特征點對應的三維坐標偏移量及骨骼夾角，以及所述虛擬角色臉部的若干特征點對應的三維坐標偏移量及骨骼夾角輸入至所述表情骨骼重定向網絡模型中；所述卷積層用于接收所述數據輸入層的輸出數據，并對所述輸出數據進行卷積、填補及抽樣操作，以得到所述輸出數據對應的特征數據；所述目標三維坐標輸出層用于接收所述特征數據，并對其進行非線性變換后，輸出所述虛擬角色臉部的若干特征點在第二預設三維坐標系下的目標三維坐標；

將所述虛擬角色臉部的若干特征點調整至所述目標三維坐標位置，以控制所述虛擬角色的表情；

所述方法還包括：

根據所述骨骼點三維坐標識別網絡模型，確定所述主播的身體及手部的若干關節點在第一預設三維坐標系下的三維坐標；計算所述主播的身體及手部的若干關節點在第一預設三維坐標系下，相對于根骨骼點的三維坐標偏移量；并計算任意兩個相鄰關節點之間的骨骼與其對應的上一級骨骼之間的骨骼夾角；其中，所述根骨骼點為所述主播身體的盆骨點；在第二預設三維坐標系中，確定所述虛擬角色的身體及手部的若干關節點的三維坐標，并計算所述虛擬角色的身體及手部的若干關節點在第二預設三維坐標系下，相對于根骨骼點的三維坐標偏移量，以及任意兩個相鄰關節點之間的骨骼與其對應的上一級骨骼之間的骨骼夾角；其中，所述第一預設三維坐標系是以所述主播身體的盆骨點為原點建立的右手坐標系；所述第二預設三維坐標系是以所述虛擬角色身體的盆骨點為原點建立的右手坐標系；基于所述主播的身體及手部的若干關節點對應的三維坐標偏移量及骨骼夾角，以及所述虛擬角色的身體及手部的若干關節點對應的三維坐標偏移量及骨骼夾角，通過動作骨骼重定向網絡模型確定所述虛擬角色的身體及手部的若干關節點在第二預設三維坐標系下的目標三維坐標；將所述虛擬角色的身體及手部的若干關節點調整至所述目標三維坐標位置，以控制所述虛擬角色的動作；

其中，所述動作骨骼重定向網絡模型包括數據輸入層、卷積層、目標三維坐標輸出層；其中，所述數據輸入層用于將所述主播的身體及手部的若干關節點對應的三維坐標偏移量及骨骼夾角，以及所述虛擬角色的身體及手部的若干關節點對應的三維坐標偏移量及骨骼夾角輸入至所述動作骨骼重定向網絡模型中；所述卷積層用于接收所述數據輸入層的輸出數據，并對所述輸出數據進行卷積、填補及抽樣操作，以得到所述輸出數據對應的特征數據；所述目標三維坐標輸出層用于接收所述特征數據，并對其進行非線性變換后，輸出所述虛擬角色的身體及手部的若干關節點在第二預設三維坐標系下的目標三維坐標。