[發明專利]模型訓練方法及相關裝置、可讀存儲介質

在審

• 申請號: 202110224930.5
• 申請日: 2021-03-01
• 公開（公告）號: CN112884640A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 王鑫宇;劉志遠;楊國基;劉炫鵬;陳瀧翔
• 申請（專利權）人: 深圳追一科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N5/04;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王學強

本申請實施例公開了一種模型訓練方法及模型訓練裝置，用于提升圖像翻譯模型的推理速度。本發明實施例方法包括：采用第一數據和第二數據對原始圖像翻譯模型中的原始生成模型進行訓練，以得到當前幀的第一生成圖片，第一數據包括當前幀的輪廓線數據和前兩幀的輪廓線數據，第二數據包括當前幀的原始圖片和前兩幀的原始圖片；對原始生成模型執行fine?tune微調操作，得到一代生成模型，微調操作包括根據預設的損失函數，計算當前幀的原始圖片與當前幀的第一生成圖片的第一損失，根據第一損失及反向傳播算法，對原始生成模型中卷積層的權重進行梯度更新，一代生成模型為一代圖像翻譯模型中的GAN網絡中的生成模型，一代生成模型的圖像生成質量不大于預設的FID值。

技術領域

本發明涉及圖像翻譯技術領域，尤其涉及模型訓練方法及相關裝置、可讀存儲介質。

背景技術

所謂圖像翻譯，指從一副圖像到另一副圖像的轉換。可以類比機器翻譯，將一種語言轉換為另一種語言。

現有技術中較為經典的圖像翻譯模型有pix2pix，pix2pixHD，vid2vid。pix2pix提出了一個統一的框架解決了各類圖像翻譯問題，pix2pixHD則在pix2pix的基礎上，較好的解決了高分辨率圖像轉換(翻譯)的問題，vid2vid則在pix2pixHD的基礎上，較好的解決了高分辨率的視頻轉換問題。

但目前的vid2vid模型，如Nvidia的vid2vid中的頭部姿態翻譯模型，在實際訓練過程中，因為其采用的GAN模型數據計算量大，如目前的頭部姿態翻譯模型需要輸入第一部分數據和第二部分數據，其中，第一部分數據包括當前幀和前兩幀的輪廓線，以及當前幀和前兩幀的distanceMap數據，進一步，每一幀的輪廓線為1維數據，則當前幀和前兩幀的輪廓線共3維數據，而每一幀的distanceMap包括4維數據，則當前幀和前兩幀的distanceMap共包括12維數據，且上述15(12+3)維數據全部參與模型的訓練；第二部分數據包括當前幀和前兩幀的原始圖片，其中，當前幀為生成圖像的Label，前兩幀作為訓練的輸入，且每個圖片的大小要求為X×X×3，故第二部分中參與訓練的數據為6(2×3)維，故頭部姿態翻譯模型在訓練過程中的訓練數據總計為15+6，即21維。

這樣，頭部姿態翻譯模型在實際應用中因為采用訓練的數據量大，會出現翻譯速度慢、翻譯生成的視頻幀不連貫、不穩定以及翻譯實時性較差的問題。

發明內容

本發明實施例提供了一種模型訓練方法及模型訓練裝置，用于提升圖像模型翻譯模型的推理速度。

本申請實施例第一方面提供了一種模型訓練方法，包括：

采用第一數據和第二數據對原始圖像翻譯模型中的GAN網絡中的原始生成模型進行訓練，以得到當前幀的第一生成圖片，所述第一數據包括當前幀的輪廓線數據和前兩幀的輪廓線數據，所述第二數據包括當前幀的原始圖片和前兩幀的原始圖片；

對所述原始生成模型執行fine-tune微調操作，直至得到一代生成模型，所述微調操作包括根據預設的損失函數，計算所述當前幀的原始圖片與所述當前幀的第一生成圖片之間的第一損失，根據所述第一損失及反向傳播算法，對所述原始生成模型中卷積層的權重進行梯度更新，所述一代生成模型為一代圖像翻譯模型中的GAN網絡中的生成模型，且所述一代生成模型的圖像生成質量不大于預設的FID值。

優選的，所述方法還包括：

在對所述原始生成模型中卷積層的權重進行梯度更新的過程中，減少對所述原始生成模型中卷積層的學習率。

優選的，所述方法還包括：

采用第三數據和第四數據對所述一代生成模型進行訓練，以得到當前幀的第二生成圖片，所述第三數據包括當前幀的輪廓線數據和前一幀的輪廓線數據，所述第四數據包括當前幀的原始圖片和前一幀的原始圖片；