[發明專利]由圖像或視頻數據生成虛擬角色

在審

• 申請號: 202010231706.4
• 申請日: 2020-03-27
• 公開（公告）號: CN111744200A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: J·科隆;H·H·查普特;N·阿格戴爾;K·A-U·扎曼;K·A·摩斯
• 申請（專利權）人: 電子技術公司
• 主分類號: A63F13/655
• 分類號: A63F13/655;G06T13/40;G06T15/00;G06T17/20;G06T19/00
• 代理公司: 北京匯知杰知識產權代理有限公司 11587
• 代理人: 李潔;董江虹

公開了用于生成定制虛擬角色的系統和方法。系統可以獲得描繪真實人物的視頻數據或其他媒體，并且然后可以將獲得的媒體提供給一個或多個機器學習模型，所述機器學習模型被配置為學習關于視頻或其他媒體中所描繪的特定人物的視覺外觀和行為信息。所述系統然后可以生成與所述真實人物對應的定制視覺外觀模型和定制行為模型，所述定制視覺外觀模型和定制行為模型隨后可以被用來在視頻游戲的虛擬環境中渲染在外觀和游戲中行為方面類似于所述真實人物的虛擬角色。

通過引用任何優先權申請的并入

在隨本申請提交的申請數據表中對于其標識了外國或本國優先權要求的任何和所有申請均通過引用被并入本文。

背景技術

視頻游戲應用程序近年來在普及性和復雜性方面已經增加。由于更多玩家進入視頻游戲的虛擬環境，其中許多游戲都包括與其他玩家進行游戲中(in-game)在線交互，因此許多玩家期望為他們在這些虛擬環境中控制的虛擬角色增加定制選項。這在多玩家視頻游戲中尤其如此，在多玩家視頻游戲中，玩家將常常尋求使將在游戲中對其他玩家可見的化身或角色個性化。一些游戲使各種預定義角色可用，玩家可以從預定義角色中選擇在給定的游戲實例中要控制或要扮演的角色。其他游戲實現預定義角色的至少一定程度的定制，諸如為玩家提供編輯在游戲中所選擇的角色的服裝顏色或該角色的視覺外觀的其他方面的選項。

發明內容

本公開內容的系統、方法和設備各自具有若干創新方面，其中沒有一個方面單獨擔負本文所公開的所有期望屬性。

在一些實施方案中，一種系統，包括：數據存儲器(data store)，所述數據存儲器存儲用于視頻游戲的虛擬角色的三維(3D)模型數據，其中所述3D模型數據包括人類基礎模型，其中所述人類基礎模型包括定義通用人類體形的身體形狀的3D網格數據；以及計算系統，所述計算系統與所述數據存儲器電子通信并且被配置為執行計算機可讀指令。所述計算機可讀指令將所述計算系統配置為：獲得描繪真實人物的輸入媒體，其中所述輸入媒體包括至少如通過攝像機捕獲的所述真實人物的錄像(video recording)；將所述輸入媒體的至少一部分提供給第一機器學習模型，所述第一機器學習模型被配置為提取關于圖像或視頻數據中所描繪的一個或多個人的視覺信息；基于由所述第一機器學習模型提取的視覺信息更改所述人類基礎模型的所述3D網格數據，以生成與所述真實人物對應的定制3D模型數據；將所述輸入媒體提供給第二機器學習模型，所述第二機器學習模型被配置為確定視頻數據中所描繪的一個或多個人的行為；至少部分地基于所述第二機器學習模型的輸出生成與所述真實人物對應的定制行為數據，其中所述定制行為數據指示與由如所述輸入媒體中所描繪的所述真實人物執行的動作相關聯的骨骼移動；以及在所述視頻游戲的3D虛擬環境中渲染描繪類似于執行一個或多個動作的所述真實人物的虛擬角色的一系列用于顯示的幀，其中如所渲染的所述虛擬角色的視覺外觀至少部分地基于所述定制3D模型數據，其中所述一個或多個動作至少部分地基于所述定制行為數據。