[發明專利]網絡訓練方法及裝置、姿態預測方法及裝置

在審

• 申請號: 202010638037.2
• 申請日: 2020-07-02
• 公開（公告）號: CN111783986A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 季向陽;王谷
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種網絡訓練方法，其特征在于，包括：

通過姿態預測網絡對二維樣本圖像進行預測，得到所述二維樣本圖像中目標對象對應的預測分割掩碼及所述目標對象對應的預測姿態信息，所述預測姿態信息包括三維旋轉信息和三維平移信息；

根據所述目標對象對應的預測姿態信息及所述目標對象對應的三維模型進行可微分渲染操作，得到所述目標對象對應的可微分渲染信息；

根據所述二維樣本圖像、所述預測分割掩碼、所述二維樣本圖像對應的深度圖像及所述可微分渲染信息，確定所述姿態預測網絡的自監督訓練總損失；

根據所述自監督訓練總損失訓練所述姿態預測網絡。

2.根據權利要求1所述的方法，其特征在于，所述目標對象對應的可微分渲染信息包括：渲染分割掩碼、渲染二維圖像、渲染深度圖像，

所述根據所述二維樣本圖像、所述預測分割掩碼、所述二維樣本圖像對應的深度圖像及所述可微分渲染信息，確定所述姿態預測網絡的自監督訓練總損失，包括：

根據所述二維樣本圖像及所述渲染二維圖像，確定第一自監督訓練損失；

根據所述預測分割掩碼及所述渲染分割掩碼，確定第二自監督訓練損失；

根據所述二維樣本圖像對應的深度圖像與所述渲染深度圖像，確定第三自監督訓練損失；

根據所述第一自監督訓練損失、所述第二自監督訓練損失及所述第三自監督訓練損失，確定所述姿態預測網絡的自監督訓練總損失。

3.根據權利要求2所述的方法，其特征在于，所述根據所述二維樣本圖像及所述渲染二維圖像，確定第一自監督訓練損失，包括：

分別將所述二維樣本圖像及所述渲染二維圖像轉換為顏色模型LAB模式后，根據轉換模式后的二維樣本圖像、轉換模式后的渲染二維圖像及所述預測分割掩碼，采用第一損失函數確定第一圖像損失；

根據所述二維樣本圖像、所述渲染二維圖像及所述預測分割掩碼，采用第二損失函數確定第二圖像損失，所述第二損失函數為基于多尺度結構相似性指標的損失函數；

根據所述二維樣本圖像、所述渲染二維圖像及所述預測分割掩碼，采用第三損失函數確定第三圖像損失，所述第三損失函數為基于深度卷積神經網絡的多尺度特征距離的損失函數；

根據所述第一圖像損失、所述第二圖像損失及所述第三圖像損失，確定所述第一自監督訓練損失。

4.根據權利要求2或3所述的方法，其特征在于，所述根據所述預測分割掩碼及所述渲染分割掩碼，確定第二自監督訓練損失，包括：

根據所述預測分割掩碼及所述渲染分割掩碼，采用交叉熵損失函數確定第二自監督訓練損失。

5.根據權利要求2至4中任一項所述的方法，其特征在于，所述根據所述二維樣本圖像對應的深度圖像與所述渲染深度圖像，確定第三自監督訓練損失，包括：

分別對所述二維樣本圖像對應的深度圖像與所述渲染深度圖像進行逆投影操作，得到所述深度圖像對應的點云信息及所述渲染深度圖像對應的點云信息；

根據所述深度圖像對應的點云信息及所述渲染深度圖像對應的點云信息，確定第三自監督訓練損失。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述姿態預測網絡包括：類別預測子網絡、邊界框預測子網絡、和姿態預測子網絡，

所述通過姿態預測網絡對二維樣本圖像進行預測，得到所述二維樣本圖像中目標對象對應的預測分割掩碼及所述目標對象對應的預測姿態信息，包括：

通過所述類別預測子網絡對二維樣本圖像進行預測，得到所述二維樣本圖像中目標對象對應的類別信息；

通過所述邊界框預測子網絡對二維樣本圖像進行預測，得到所述二維樣本圖像中目標對象對應的邊界框信息；

通過所述姿態預測子網絡對所述二維樣本圖像、所述類別信息及所述邊界框信息進行處理，得到所述二維樣本圖像中目標對象對應的預測分割掩碼及所述目標對象對應的預測姿態信息。