[發明專利]圖像渲染方法和設備

在審

• 申請號: 202210298314.9
• 申請日: 2022-03-24
• 公開（公告）號: CN115205439A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: F.卡佩洛;M.桑德斯;M.V.巴雷羅;T.布拉德利;A.J.比戈斯
• 申請（專利權）人: 索尼互動娛樂股份有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T15/06;G06T15/50;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張曉明

1.一種用于在視點處渲染像素的圖像渲染方法，包括以下步驟：

針對在虛擬場景內的位置處具有預定表面的所述虛擬場景的第一元素：

將基于所述視點的位置和方向提供給先前經訓練的機器學習系統以預測因子，當所述因子與表征光與所述預定表面的相互作用的分布函數相結合時，生成對應于在所述位置處被照亮的所述虛擬場景的所述第一元素的像素值；

將來自所述機器學習系統的預測的因子與所述分布函數相結合，以生成對應于在所述位置處所述虛擬場景的被照亮的所述第一元素的像素值；以及

將所述像素值合并到渲染圖像中以供顯示；

其中所述機器學習系統先前使用基于包括多個照明條件的圖像的訓練集進行訓練。

2.根據權利要求1所述的圖像渲染方法，其中：

所述多個照明條件包括照明位置的一個或多個變化。

3.根據權利要求2所述的圖像渲染方法，其中：

照明位置的變化是從以下列表中選擇的一個或多個的函數，所述列表包括：

i.所述虛擬場景內的名義時間；和

ii.可移動虛擬光源的移動路徑。

4.根據權利要求1所述的圖像渲染方法，其中：

所述多個照明條件包括照明方向的一個或多個變化。

5.根據權利要求4所述的圖像渲染方法，其中：

照明方向的變化是從以下列表中選擇的一個或多個的函數，所述列表包括：

i.光源的軸向變化；和

ii.光的角展度的變化。

6.根據權利要求1所述的圖像渲染方法，其中：

所述多個照明條件包括從以下列表中選擇的一項或多項的一個或多個變化，所述列表包括。

i.照明顏色；

ii.照明亮度；和

iii.照明漫射。

7.根據權利要求1所述的圖像渲染方法，其中

為所述圖像的多個貢獻分量中的每一個分量訓練相應的機器學習系統；

為所述圖像的多個貢獻分量中的每一個分量使用相應的分布函數；和

組合相應生成的像素值以創建最終的組合像素值，所述最終的組合像素被合并到所述渲染圖像中以供顯示。

8.根據權利要求1所述的圖像渲染方法，其中

所述機器學習系統是神經網絡；

所述神經網絡的第一部分的輸入包括所述預定表面的位置；并且

所述神經網絡的第二部分的輸入包括所述第一部分的輸出和所述方向。

9.根據權利要求1所述的圖像渲染方法，其中

所述機器學習系統是神經網絡；并且

所述神經網絡的輸入包括表示選自以下列表中的一個或多個的數據，所述列表包括：

i.照明位置或偏移；

ii.所述虛擬場景內的名義時間；

iii.光源的軸向；

iv.光的角展度；

v.顏色或色溫；

vi.亮度；和

vii.漫射。

10.根據權利要求8至9中任一項所述的圖像渲染方法，其中

如果所述神經網絡的全部或部分的輸入表示光的一種以上特性，則向所述神經網絡提供至少部分連接的附加輸入層。

11.根據權利要求1所述的圖像渲染方法，包括：

從多個機器學習模型中選擇至少第一經訓練的機器學習模型，所述機器學習模型已經使用基于包括多個照明條件的圖像的訓練集進行訓練，以生成有助于渲染圖像的至少一部分的數據；

其中，所述至少第一經訓練的機器學習模型具有基于架構的學習能力，所述學習能力響應于針對其進行訓練的虛擬環境的至少第一方面生成數據；和

使用所述至少第一經訓練的機器學習模型來生成有助于渲染圖像的至少一部分的數據。