[發明專利]圖像處理方法及裝置和圖像生成網絡的訓練方法及裝置

有效

• 申請號: 201910238417.4
• 申請日: 2019-03-27
• 公開（公告）號: CN109978759B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 暴天鵬;沈宇軍;吳立威;呂健勤
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置和圖像生成網絡的訓練方法及裝置，其中，圖像處理方法包括：獲取第一隨機向量和第二隨機向量；將所述第一隨機向量輸入到3D外形生成網絡進行圖像外形生成處理，得到3D圖像的外形數據，并將所述第二隨機向量輸入到紋理生成網絡進行圖像紋理生成處理，得到所述3D圖像的紋理數據。根據本公開的實施例，能夠通過神經網絡實現3D圖像數據的生成。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及一種圖像處理方法及裝置和圖像生成網絡的訓練方法及裝置。

背景技術

相關技術中，對于圖像處理中的圖像生成技術而言，生成高質量的2D圖像已經成為可能，而對于3D圖像的生成，一方面，3D圖像數據，尤其是高質量的3D圖像數據很難獲取；另一方面，神經網絡的訓練數據和生成數據通常是同類型的，在難以獲取足夠數量的3D圖像來訓練神經網絡的情況下，如何通過神經網絡來實現3D圖像的生成是亟待解決的問題。

發明內容

本公開提出了一種圖像處理的技術方案。

根據本公開的一方面，提供了一種圖像處理方法，包括：獲取第一隨機向量和第二隨機向量；將所述第一隨機向量輸入到3D外形生成網絡進行圖像外形生成處理，得到3D圖像的外形數據，并將所述第二隨機向量輸入到紋理生成網絡進行圖像紋理生成處理，得到所述3D圖像的紋理數據。

在一些可能的實現方式中，所述方法還包括：根據所述3D圖像的外形數據和所述3D圖像的紋理數據，生成所述3D圖像。

在一些可能的實現方式中，所述將所述第一隨機向量輸入到3D外形生成網絡進行處理，得到3D圖像的外形數據，包括：所述3D外形生成網絡利用先驗數據和所述第一隨機向量，得到3D圖像的外形數據，其中，所述先驗數據是通過對多個已有3D圖像中的像素點位置進行統計得到的。

在一些可能的實現方式中，所述3D外形生成網絡和所述紋理生成網絡是通過將2D圖像作為訓練樣本進行聯合訓練得到的。

在一些可能的實現方式中，所述方法還包括：根據所述3D圖像的外形數據和所述3D圖像的紋理數據，對所述3D圖像進行投影處理，得到2D圖像；通過圖像判別網絡確定所述2D圖像的預測圖像類別，所述預測圖像類別為生成圖像或真實圖像；基于所述2D圖像的預測圖像類別，調整所述3D外形生成網絡、所述紋理生成網絡和所述圖像判別網絡中至少一個網絡的網絡參數。

在一些可能的實現方式中，所述根據所述3D圖像的外形數據和所述3D圖像的紋理數據，對所述3D圖像進行投影處理，得到2D圖像，包括：將所述3D圖像的外形數據、所述3D圖像的紋理數據以及隨機姿態向量輸入到投影渲染網絡進行隨機投影處理，得到2D圖像。

在一些可能的實現方式中，所述對所述3D圖像進行隨機投影，得到2D圖像，包括：利用多個隨機姿態向量對所述3D圖像進行隨機投影處理，得到多個2D圖像；所述通過圖像判別網絡確定所述2D圖像的預測圖像類別，包括：通過所述圖像判別網絡確定所述多個2D圖像中每個2D圖像的預測圖像類別。

在一些可能的實現方式中，所述方法還包括：將真實的2D樣本圖像輸入到所述圖像判別網絡進行處理，得到所述2D樣本圖像的預測圖像類別；基于所述2D樣本圖像的預測圖像類別以及所述2D樣本圖像的標注圖像類別，調整所述圖像判別網絡的網絡參數。

在一些可能的實現方式中，所述方法還包括：將所述3D圖像的紋理數據輸入到紋理判別網絡進行處理，得到所述3D圖像的紋理數據的預測數據類別，其中，所述預測數據類別為真實紋理數據或生成紋理數據；將真實的樣本紋理數據輸入到所述紋理判別網絡進行處理，得到所述樣本紋理數據的預測數據類別；基于所述3D圖像的紋理數據的預測數據類別以及所述樣本紋理數據的預測數據類別，調整所述紋理判別網絡和所述紋理生成網絡中的至少一個網絡的網絡參數。