[發明專利]一種神經輻射場網絡訓練方法以及相關設備

在審

• 申請號: 202211716270.3
• 申請日: 2022-12-29
• 公開（公告）號: CN116012515A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 白東峰;王環宇;劉冰冰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T7/62;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 劉瑩

1.一種神經輻射場網絡訓練方法，其特征在于，包括：

根據多個圖像以及每個所述圖像對應的視角方向，對神經輻射場網絡進行訓練，獲得訓練后的神經輻射場網絡；

其中，在對所述神經輻射場網絡進行訓練的第i次迭代過程中：

通過第i次迭代過程中的神經輻射場網絡，根據第一視角對應的多個樣本點中，每個所述樣本點對應的上下文信息，獲得所述第i次迭代過程中，每個所述樣本點對應的體積密度和顏色信息，所述第一視角基于第一圖像的視角方向而確定，所述多個樣本點為在所述第一視角對應的至少一條光線射線上進行采樣而得到的，所述第一圖像包含于所述多個圖像中，i為正整數；

根據所述第i次迭代過程中每個所述樣本點對應的體積密度和顏色信息，通過體積渲染，獲得所述第i次迭代過程中所述第一視角對應的第一輸出圖像；

根據所述第一輸出圖像和所述第一圖像，確定是否完成所述神經輻射場網絡的訓練。

2.根據權利要求1所述的方法，其特征在于，每一樣本點對應的上下文信息基于相應樣本點在所述第一視角對應的多個樣本點中的鄰域樣本點而得到。

3.根據權利要求2所述的方法，其特征在于，所述第一圖像中包括多個圖像塊，任一樣本點對應多條光線射線，所述多條光線射線為所述第一圖像對應的相機向相應樣本點對應的圖像塊中的多個像素點發射光線而得到；

相應樣本點對應的上下文信息基于相應樣本點在鄰域光線射線上的鄰域樣本點而得到，所述鄰域光線射線包含于所述多條光線射線中，并且，所述鄰域光線射線與相應樣本點所在的光線射線不同。

4.根據權利要求2或3所述的方法，其特征在于，每一樣本點對應的上下文信息基于相應樣本點所在的光線射線上對應的鄰域樣本點而得到。

5.根據權利要求4所述的方法，其特征在于，所述通過第i次迭代過程中的神經輻射場網絡，根據第一視角對應的多個樣本點中，每個所述樣本點對應的上下文信息，獲得所述第i次迭代過程中，每個所述樣本點對應的體積密度和顏色信息，包括：

通過第i次迭代過程中的神經輻射場網絡，根據任一樣本點所在的光線射線上對應的鄰域樣本點的權重，融合相應樣本點的信息與相應樣本點所在的光線射線上對應的鄰域樣本點的信息，以獲得所述第i次迭代過程中，相應樣本點對應的體積密度和顏色信息，其中，相應樣本點所在的光線射線上對應的每個鄰域樣本點的權重基于相應鄰域樣本點與相應樣本點之間的距離而確定。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述神經輻射場網絡中包括至少一層卷積層，所述至少一層卷積層用于通過卷積操作將每個所述樣本點的信息與相應樣本點對應的上下文信息進行融合。

7.根據權利要求6所述的方法，其特征在于，所述至少一層卷積層包括多層卷積層，所述多層卷積層為串行結構，并且所述多層卷積層中任一卷積層的輸出在至少一個維度上的大小不大于對應的下一層卷積層的輸出在所述至少一個維度上的大小。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述根據所述第一輸出圖像和所述第一圖像，確定是否完成所述神經輻射場網絡的訓練，包括：

通過第i次迭代過程中的神經輻射場網絡中第k層的輸出，獲得所述第一輸出圖像中每個像素點對應的權重，k為小于預設閾值的正整數；

根據所述第一輸出圖像和所述第一輸出圖像中每個像素點對應的權重，獲得所述第一輸出圖像中至少一個目標像素點的目標像素值；

根據所述第一輸出圖像中至少一個目標像素點的目標像素值和所述第一圖像，確定是否完成所述神經輻射場網絡的訓練。