[發明專利]一種應用于NeRF訓練過程的知識蒸餾方法、裝置和設備

在審

• 申請號: 202310508850.1
• 申請日: 2023-05-08
• 公開（公告）號: CN116468098A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 項樂宏;王翀;夏銀水;李裕麒;鄭瑜杰
• 申請（專利權）人: 樂歌人體工學科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 浙江中桓凱通專利代理有限公司 33376
• 代理人: 周寧東

1.一種應用于NeRF訓練過程的知識蒸餾方法，其特征在于，所述知識蒸餾方法包括：

步驟S1：預先對多個不同的基礎場景進行訓練，得到多個不同的預訓練MLP模型；

步驟S2：對新場景下的目標MLP模型進行訓練，并將多個預訓練MLP模型包含的各種場景信息泛化到所述新場景下的所述目標MLP模型中；其中，根據所述新場景與多個所述基礎場景之間相似度的不同，所述目標MLP模型接收多個所述預訓練MLP模型不同程度的指導；

步驟S3：根據收斂后的目標MLP模型推理出新場景。

2.根據權利要求1所述的知識蒸餾方法，其特征在于，所述將多個預訓練MLP模型包含的各種場景信息泛化到所述新場景下的所述目標MLP模型中，具體包括：

將N個所述基礎場景記為X_i,i＝1,2,…,N，將N個所述預訓練MLP模型記為F_i(·,θ_i),i＝1,2,…,N，其中，θ_i表示在X_i場景下的所述預訓練MLP模型的參數，將F_i(·,θ_i),i＝1,2,…,N的集成模型F_T(·,θ_T)作為教師模型，將需要訓練的所述新場景記為X_new，將所述目標MLP模型記為F_s(·,θ_s)，F_s(·,θ_s)作為學生模型，并且在訓練過程中受到F_T(·,θ_T)的指導使X_i,i＝1,2,…,N中的場景信息泛化到F_s(·,θ_s)中。

3.根據權利要求1所述的知識蒸餾方法，其特征在于，所述根據所述新場景與多個所述基礎場景之間相似度的不同，所述目標MLP模型接收多個所述預訓練MLP模型不同程度的指導，包括：

引入注意力模塊Att(·)對來自F_i(·,θ_i),i＝1,2,…,N的場景信息進行加權，改變F_i(·,θ_i),i＝1,2,…,N對于F_s(·,θ_s)的權重分數。

4.根據權利要求3所述的知識蒸餾方法，其特征在于，所述引入注意力模塊對來自F_i(·,θ_i),i＝1,2,…,N的場景信息進行加權，改變F_i(·,θ_i),i＝1,2,…,N對于F_s(·,θ_s)的權重分數，包括：

步驟S21：使用編碼器E(·)對X_new與X_i,i＝1,2,…,N中的訓練圖片進行特征提取，有：f_new＝E(X_new)；f_i＝E(X_i),i＝1,2,…,N；

其中，f_new和f_i分別為X_new與X_i,i＝1,2,…,N的訓練數據的特征表示。