[發明專利]由圖像或視頻數據生成虛擬角色

在審

• 申請號: 202010231706.4
• 申請日: 2020-03-27
• 公開（公告）號: CN111744200A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: J·科隆;H·H·查普特;N·阿格戴爾;K·A-U·扎曼;K·A·摩斯
• 申請（專利權）人: 電子技術公司
• 主分類號: A63F13/655
• 分類號: A63F13/655;G06T13/40;G06T15/00;G06T17/20;G06T19/00
• 代理公司: 北京匯知杰知識產權代理有限公司 11587
• 代理人: 李潔;董江虹

1.一種系統，包括：

數據存儲器，所述數據存儲器存儲用于視頻游戲的虛擬角色的三維(3D)模型數據，其中所述3D模型數據包括人類基礎模型，其中所述人類基礎模型包括定義通用人類體形的身體形狀的3D網格數據；以及

計算系統，所述計算系統與所述數據存儲器電子通信并且被配置為執行計算機可讀指令，所述計算機可讀指令將所述計算系統配置為：

獲得描繪真實人物的輸入媒體，其中所述輸入媒體包括至少如通過攝像機捕獲的所述真實人物的錄像；

將所述輸入媒體的至少一部分提供給第一機器學習模型，所述第一機器學習模型被配置為提取關于圖像或視頻數據中所描繪的一個或多個人的視覺信息；

基于由所述第一機器學習模型提取的視覺信息更改所述人類基礎模型的所述3D網格數據，以生成與所述真實人物對應的定制3D模型數據；

將所述輸入媒體提供給第二機器學習模型，所述第二機器學習模型被配置為確定視頻數據中所描繪的一個或多個人的行為；

至少部分地基于所述第二機器學習模型的輸出生成與所述真實人物對應的定制行為數據，其中所述定制行為數據指示與由如所述輸入媒體中所描繪的所述真實人物執行的動作相關聯的骨骼移動；以及

在所述視頻游戲的3D虛擬環境中渲染描繪類似于執行一個或多個動作的所述真實人物的虛擬角色的一系列用于顯示的幀，其中如所渲染的所述虛擬角色的視覺外觀至少部分地基于所述定制3D模型數據，其中所述一個或多個動作至少部分地基于所述定制行為數據。

2.根據權利要求1所述的系統，其中所述計算機可讀指令還將所述計算系統配置為：

從所述輸入媒體中提取關于由如所述輸入媒體中所描繪的所述真實人物穿著的第一服裝項的視覺信息；以及

生成與由所述真實人物穿著的所述第一服裝項對應的虛擬服裝項，其中所述虛擬服裝項包括基于所述視覺信息生成的紋理；

其中如在所述視頻游戲的所述3D虛擬環境中所渲染的所述虛擬角色的所述視覺外觀包括對穿著所述虛擬服裝項的所述虛擬角色的描繪。

3.根據權利要求1所述的系統，其中所述計算機可讀指令還將所述計算系統配置為：生成用于向用戶顯示的虛擬服裝選擇界面，其中所述虛擬服裝選擇界面識別來自目錄的可用于應用于所述虛擬角色的虛擬服裝項的子集，其中所述虛擬服裝項的子集是由所述計算系統至少部分地基于如根據對所述輸入媒體的自動分析確定的所述真實人物的一個或多個服裝風格從所述目錄中選擇的。

4.根據權利要求1所述的系統，其中所述計算機可讀指令還將所述計算系統配置為：

在所述數據存儲器中存儲與所述真實人物對應的定制虛擬角色數據，其中所述定制虛擬角色數據包括至少所述定制3D模型數據和所述定制行為數據。

5.根據權利要求4所述的系統，其中所述計算機可讀指令還將所述計算系統配置為：

將所述定制虛擬角色數據提供給兩個或更多個視頻游戲應用程序，用于將所述虛擬角色引入與所述兩個或更多個視頻游戲應用程序中的每個相關聯的虛擬世界。

6.根據權利要求1所述的系統，其中與所述真實人物對應的所述定制3D模型數據包括從所述輸入媒體中提取的定制紋理。

7.根據權利要求1所述的系統，其中所述第一機器學習模型包括生成式對抗網絡，所述生成式對抗網絡包括生成器和鑒別器。

8.根據權利要求1所述的系統，其中所述第二機器學習模型包括卷積神經網絡，其中所述計算系統被配置為將運動學骨骼擬合應用于所述卷積神經網絡的輸出。

9.根據權利要求1所述的系統，其中所述定制行為數據包括反映如從所述輸入媒體確定的所述真實人物的身體姿態或步態中的至少一個的信息。