[發明專利]虛擬對象的紋理生成方法、電子設備以及存儲介質

在審

• 申請號: 202310398448.2
• 申請日: 2023-04-04
• 公開（公告）號: CN116485983A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 王雨桐;蔣佳憶;馬菲瑩
• 申請（專利權）人: 阿里巴巴達摩院（杭州）科技有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T19/00
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 李靜茹

1.一種虛擬對象的紋理生成方法，其特征在于，包括：

讀取在虛擬場景中預先構建的虛擬對象；

捕獲用于表述覆蓋在所述虛擬對象表面的紋理的描述信息；

基于所述描述信息對所述虛擬對象表面的紋理進行無監督學習，得到所述虛擬對象對應的目標紋理貼圖；

基于所述目標紋理貼圖對所述虛擬對象進行渲染。

2.根據權利要求1所述的方法，其特征在于，在所述描述信息包含描述文本的情況下，基于所述描述信息對所述虛擬對象表面的紋理進行無監督學習，得到所述虛擬對象對應的目標紋理貼圖，包括：

利用紋理生成模型基于所述描述文本對所述虛擬對象表面的紋理進行學習，得到所述目標紋理貼圖，其中，所述紋理生成模型是基于未進行標注的訓練樣本進行訓練得到的，所述訓練樣本包括：訓練對象和訓練文本。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

利用初始生成模型基于所述描述文本對所述虛擬對象表面的紋理進行學習，得到訓練紋理貼圖；

基于所述訓練紋理貼圖對所述訓練對象進行渲染，得到渲染圖像；

分別對所述訓練文本和所述渲染圖像進行特征提取，得到所述訓練文本的文本特征和所述渲染圖像的第一圖像特征；

基于所述文本特征和所述第一圖像特征對所述初始生成模型的參數進行調整，得到所述紋理生成模型。

4.根據權利要求3所述的方法，其特征在于，分別對所述訓練文本和所述渲染圖像進行特征提取，得到所述訓練文本的文本特征和所述渲染圖像的圖像特征，包括：

利用大規模圖文預訓練模型分別對所述訓練文本和所述渲染圖像進行特征提取，得到所述文本特征和所述第一圖像特征。

5.根據權利要求3所述的方法，其特征在于，基于所述文本特征和所述第一圖像特征對所述初始生成模型的參數進行調整，得到所述紋理生成模型，包括：

利用擴散模型對所述文本特征進行特征采樣，得到采樣特征；

確定所述采樣特征與所述第一圖像特征的相似度；

基于所述相似度對所述初始生成模型的參數進行調整，得到所述紋理生成模型。

6.根據權利要求1所述的方法，其特征在于，在所述描述信息包含描述文本和預設紋理貼圖的情況下，基于所述描述信息對所述虛擬對象表面的紋理進行無監督學習，得到所述虛擬對象對應的目標紋理貼圖，包括：

利用紋理生成模型基于所述描述文本和所述預設紋理貼圖對所述虛擬對象表面的紋理進行無監督學習，得到所述目標紋理貼圖，其中，所述紋理生成模型是基于未進行標注的訓練樣本進行訓練得到的，所述訓練樣本包括：訓練對象、訓練文本和訓練圖像。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

利用初始生成模型基于所述描述文本和所述訓練圖像對所述虛擬對象表面的紋理進行學習，得到訓練紋理貼圖；

基于所述訓練紋理貼圖對所述訓練對象進行渲染，得到渲染圖像；

分別對所述訓練文本、所述渲染圖像和所述訓練圖像進行特征提取，得到所述訓練文本的文本特征、所述渲染圖像的第一圖像特征和所述訓練圖像的第二圖像特征；

對所述文本特征和所述第二圖像特征進行聚合，得到多模態特征；

基于所述多模態特征和所述第一圖像特征對所述初始生成模型的參數進行調整，得到所述紋理生成模型。

8.根據權利要求7所述的方法，其特征在于，對所述文本特征和所述第二圖像特征進行聚合，得到多模態特征，包括：

利用擴散模型對所述文本特征進行特征采樣，得到采樣特征；

對所述采樣特征和所述第二圖像特征進行聚合，得到所述多模態特征。