[發明專利]一種模型訓練方法及模型訓練裝置

在審

• 申請號: 202110496339.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113112400A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 王鑫宇;劉炫鵬;陳瀧翔;楊國基;劉致遠;劉云峰
• 申請（專利權）人: 深圳追一科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王學強

本發明實施例的模型訓練方法及訓練裝置，用于提升對虛擬數字人姿態的仿真速度。本發明實施例方法包括：利用訓練集中的第一數據對圖像翻譯模型的生成器和判別器分別進行訓練，并將訓練后的圖像翻譯模型確定為第一圖像翻譯模型，其中，生成器為編碼模型?解碼模型結構，編碼模型采用的是殘差網絡架構，第一數據包括目標幀圖像、目標幀圖像的輪廓線數據、目標幀圖像的距離圖像數據、目標幀圖像的前N幀圖像、前N幀圖像的輪廓線數據和距離圖像數據，其中，N為大于等于2的整數，目標幀圖像為訓練集中除了第一幀圖像和第二幀圖像以外的任一幀或任意多幀圖像；將第一圖像翻譯模型的編碼模型的殘差網絡架構修改為輕量模型架構，得到第二圖像翻譯模型。

技術領域

本發明涉及圖像翻譯技術領域，尤其涉及一種模型訓練方法及模型訓練裝置。

背景技術

所謂圖像翻譯，指從一副圖像到另一副圖像的轉換。可以類比機器翻譯，將一種語言轉換為另一種語言。

現有技術中較為經典的圖像翻譯模型有pix2pix，pix2pixHD，vid2vid。pix2pix提出了一個統一的框架解決了各類圖像翻譯問題，pix2pixHD則在pix2pix的基礎上，較好地解決了高分辨率圖像轉換(翻譯)的問題，vid2vid則在pix2pixHD的基礎上，較好地解決了高分辨率的視頻轉換問題。

數字人，是一種利用信息科學的方法對人體在不同水平的形態和功能進行的虛擬仿真。而目前的圖像翻譯模型，可以對圖像中的數字人姿態進行虛擬仿真，但現有技術中的圖像翻譯模型，因為模型架構復雜，從而導致在訓練過程中的數據運算量大，進而使得圖像翻譯模型的圖像翻譯速度較慢，也即數字人姿態仿真的速度較慢。

發明內容

本發明實施例提供了一種模型訓練方法及訓練裝置，用于提升圖像翻譯模型對虛擬數字人姿態的仿真速度。

本申請實施例第一方面提供了一種模型訓練方法，包括：

利用訓練集中的第一數據對圖像翻譯模型的生成器和判別器分別進行訓練，并將訓練后的圖像翻譯模型確定為第一圖像翻譯模型，其中，所述生成器為編碼模型-解碼模型結構，所述編碼模型采用的是殘差網絡架構，所述第一數據包括目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的距離圖像數據、所述目標幀圖像的前N幀圖像、所述前N幀圖像的輪廓線數據和所述前N幀圖像的距離圖像數據，其中，所述N為大于等于2的整數，所述目標幀圖像為所述訓練集中除了第一幀圖像和第二幀圖像以外的任意一幀或任意多幀圖像；

將所述第一圖像翻譯模型的所述編碼模型的殘差網絡架構修改為輕量模型架構，以得到第二圖像翻譯模型。

優選的，所述方法還包括：

將所述第二圖像翻譯模型的生成器中的編碼模型首層中的大卷積算子修改為預設數量的小卷積算子，以得到第三圖像翻譯模型，其中，所述預設數量的小卷積算子和所述大卷子算子在輸入相同的輸入數據時，所述預設數量的小卷積算子對所述輸入數據的數據運算量較小。

優選的，所述方法還包括：

利用所述訓練集中的第二數據對所述第三圖像翻譯模型中的生成器進行訓練，其中，所述第二數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的前N幀圖像和所述前N幀圖像的輪廓線數據；

根據所述第三圖像翻譯模型的損失函數，計算所述第三圖像翻譯模型的第一損失；

根據所述第一損失和反向傳播算法，對所述第三圖像翻譯模型中生成器的卷積層的權重進行梯度更新，以得到第四圖像翻譯模型。

優選的，所述方法還包括：

利用所述訓練集中的第三數據對所述第四圖像翻譯模型中的生成器進行訓練，其中，所述第三數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的前M幀圖像和所述前M幀圖像的輪廓線數據，其中，所述M為大于等于1且小于N的整數；