[發(fā)明專利]一種基于普通攝像頭的無(wú)穿戴虛擬直播方法及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010739818.0
• 申請(qǐng)日: 2020-07-28
• 公開(kāi)（公告）號(hào): CN112102451B
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 馮志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京云舶在線科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06N3/045;G06N3/08
• 代理公司: 北京君慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11716
• 代理人: 董延麗

本申請(qǐng)公開(kāi)了一種基于普通攝像頭的無(wú)穿戴虛擬直播方法及設(shè)備，用以解決現(xiàn)有的虛擬直播方法，虛擬角色動(dòng)作或表情展示不準(zhǔn)確且無(wú)法長(zhǎng)時(shí)間直播的技術(shù)問(wèn)題。方法包括：通過(guò)骨骼點(diǎn)三維坐標(biāo)識(shí)別網(wǎng)絡(luò)模型確定主播臉部的若干特征點(diǎn)的三維坐標(biāo)；確定虛擬角色臉部的若干特征點(diǎn)的三維坐標(biāo)；計(jì)算若干特征點(diǎn)對(duì)應(yīng)的三維坐標(biāo)偏移量及骨骼夾角；基于三維坐標(biāo)偏移量及骨骼夾角，通過(guò)表情骨骼重定向網(wǎng)絡(luò)模型，確定虛擬角色臉部的若干特征點(diǎn)的目標(biāo)三維坐標(biāo)；基于目標(biāo)三維坐標(biāo)控制虛擬角色的表情。本申請(qǐng)通過(guò)上述方法實(shí)現(xiàn)了主播無(wú)需穿戴硬件設(shè)備就可以進(jìn)行虛擬直播，滿足了長(zhǎng)時(shí)間直播的需求，且保證了虛擬角色展示動(dòng)作或表情的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及直播技術(shù)領(lǐng)域，尤其涉及一種基于普通攝像頭的無(wú)穿戴虛擬直播方法及設(shè)備。

背景技術(shù)

隨著直播技術(shù)的不斷發(fā)展，很多不愿意露臉，又想從事直播行業(yè)的人，可以通過(guò)選擇相應(yīng)的動(dòng)作捕捉設(shè)備，進(jìn)行虛擬直播來(lái)達(dá)到直播愿望。

但現(xiàn)有的虛擬直播方法，需要主播長(zhǎng)時(shí)間穿戴硬件設(shè)備，而這些硬件設(shè)備通常需要連接多種線纜，使得主播難以舒適的完成的多種動(dòng)作，進(jìn)而造成虛擬角色展現(xiàn)出的動(dòng)作或者表情不準(zhǔn)確；另外，這些硬件設(shè)備需要經(jīng)常充電，也難以滿足長(zhǎng)時(shí)間的直播的需求。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種基于普通攝像頭的無(wú)穿戴虛擬直播方法及設(shè)備，用以解決現(xiàn)有的虛擬直播技術(shù)容易造成虛擬角色動(dòng)作或表情展示不準(zhǔn)確，以及不能滿足長(zhǎng)時(shí)間直播需求的技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于普通攝像頭的無(wú)穿戴虛擬直播方法，包括：根據(jù)骨骼點(diǎn)三維坐標(biāo)識(shí)別網(wǎng)絡(luò)模型，并基于與主播有關(guān)的二維平面圖像數(shù)據(jù)，確定主播臉部的若干特征點(diǎn)，在第一預(yù)設(shè)三維坐標(biāo)系下的三維坐標(biāo)；計(jì)算主播臉部的若干特征點(diǎn)在第一預(yù)設(shè)三維坐標(biāo)系下，相對(duì)于根骨骼點(diǎn)的三維坐標(biāo)偏移量；并計(jì)算任意兩個(gè)相鄰特征點(diǎn)之間的骨骼與其對(duì)應(yīng)的上一級(jí)骨骼之間的骨骼夾角；在第二預(yù)設(shè)三維坐標(biāo)系中，確定虛擬角色臉部的若干特征點(diǎn)的三維坐標(biāo)；并計(jì)算虛擬角色臉部的若干特征點(diǎn)相對(duì)于根骨骼點(diǎn)的三維坐標(biāo)偏移量，以及任意兩個(gè)相鄰特征點(diǎn)之間的骨骼與其對(duì)應(yīng)的上一級(jí)骨骼之間的骨骼夾角；基于主播臉部的若干特征點(diǎn)對(duì)應(yīng)的三維坐標(biāo)偏移量及骨骼夾角，以及虛擬角色臉部的若干特征點(diǎn)對(duì)應(yīng)的三維坐標(biāo)偏移量及骨骼夾角，通過(guò)表情骨骼重定向網(wǎng)絡(luò)模型，確定虛擬角色臉部的若干特征點(diǎn)在第二預(yù)設(shè)三維坐標(biāo)系下的目標(biāo)三維坐標(biāo)；將虛擬角色臉部的若干特征點(diǎn)調(diào)整至目標(biāo)三維坐標(biāo)位置，以控制虛擬角色的表情。

本申請(qǐng)實(shí)施例提供的一種基于普通攝像頭的無(wú)穿戴虛擬直播方法，通過(guò)骨骼點(diǎn)三維坐標(biāo)識(shí)別網(wǎng)絡(luò)模型識(shí)別出主播臉部的若干特征點(diǎn)的三維坐標(biāo)；然后基于三維坐標(biāo)，通過(guò)表情骨骼重定向網(wǎng)絡(luò)模型控制虛擬角色的表情，使得虛擬角色能夠準(zhǔn)確的將主播的表情展示出來(lái)，且展示的更加的自然，保證了虛擬角色真實(shí)主播表情的準(zhǔn)確性。同時(shí)，通過(guò)神經(jīng)網(wǎng)絡(luò)模型調(diào)整虛擬角色的表情，使得主播不需要借助硬件設(shè)備就可以輕松的完成虛擬直播過(guò)程，不僅滿足了長(zhǎng)時(shí)間直播的需求，而且使主播在直播過(guò)程中可以舒適自然的完成直播表情或動(dòng)作。

在本申請(qǐng)的一種實(shí)現(xiàn)方式中，主播臉部的任意兩個(gè)相鄰特征點(diǎn)之間的骨骼與其對(duì)應(yīng)的上一級(jí)骨骼之間的骨骼夾角，通過(guò)以下公式確定：

α＝(α₁，α₂，α₃)＝(x₁-x₂，y₁-y₂，z₁-z₂)

β＝(β₁，β₂，β₃)＝(x₃-x₂，y₃-y₂，z₃-z₂)