[發明專利]一種模型訓練方法及模型訓練裝置

在審

• 申請號: 202110496339.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113112400A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 王鑫宇;劉炫鵬;陳瀧翔;楊國基;劉致遠;劉云峰
• 申請（專利權）人: 深圳追一科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王學強

1.一種模型訓練方法，其特征在于，所述方法包括：

利用訓練集中的第一數據對圖像翻譯模型的生成器和判別器分別進行訓練，并將訓練后的圖像翻譯模型確定為第一圖像翻譯模型，其中，所述生成器為編碼模型-解碼模型結構，所述編碼模型采用的是殘差網絡架構，所述第一數據包括目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的距離圖像數據、所述目標幀圖像的前N幀圖像、所述前N幀圖像的輪廓線數據和所述前N幀圖像的距離圖像數據，其中，所述N為大于等于2的整數，所述目標幀圖像為所述訓練集中除了第一幀圖像和第二幀圖像以外的任意一幀或任意多幀圖像；

將所述第一圖像翻譯模型的所述編碼模型的殘差網絡架構修改為輕量模型架構，以得到第二圖像翻譯模型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述第二圖像翻譯模型的生成器中的編碼模型首層中的大卷積算子修改為預設數量的小卷積算子，以得到第三圖像翻譯模型，其中，所述預設數量的小卷積算子和所述大卷子算子在輸入相同的輸入數據時，所述預設數量的小卷積算子對所述輸入數據的數據運算量較小。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

利用所述訓練集中的第二數據對所述第三圖像翻譯模型中的生成器進行訓練，其中，所述第二數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的前N幀圖像和所述前N幀圖像的輪廓線數據；

根據所述第三圖像翻譯模型的損失函數，計算所述第三圖像翻譯模型的第一損失；

根據所述第一損失和反向傳播算法，對所述第三圖像翻譯模型中生成器的卷積層的權重進行梯度更新，以得到第四圖像翻譯模型。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

利用所述訓練集中的第三數據對所述第四圖像翻譯模型中的生成器進行訓練，其中，所述第三數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據、所述目標幀圖像的前M幀圖像和所述前M幀圖像的輪廓線數據，其中，所述M為大于等于1且小于N的整數；

根據所述第四圖像翻譯模型的損失函數，計算所述第四圖像翻譯模型的第二損失；

根據所述第二損失和反向傳播算法，對所述第四圖像翻譯模型中生成器的卷積層的權重進行梯度更新，以得到第五圖像翻譯模型。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

利用所述訓練集中的第四數據對所述第五圖像翻譯模型中的生成器進行訓練，其中，所述第四數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據、所述第一幀圖像和所述第一幀圖像的輪廓線數據；

根據所述第五圖像翻譯模型的損失函數，計算所述第五圖像翻譯模型的第三損失；

根據所述第三損失和反向傳播算法，對所述第五圖像翻譯模型中生成器的卷積層的權重進行梯度更新，以得到第六圖像翻譯模型。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

利用所述訓練集中的第五數據對所述第六圖像翻譯模型中的生成器進行訓練，其中，所述第五數據包括所述目標幀圖像、所述目標幀圖像的輪廓線數據，降低像素后的所述第一幀圖像和所述第一幀圖像的輪廓線數據；

根據所述第六圖像翻譯模型的損失函數，計算所述第六圖像翻譯模型的第四損失；

根據所述第四損失和反向傳播算法，對所述第六圖像翻譯模型中生成器的卷積層的權重進行梯度更新，以得到第七圖像翻譯模型。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述輕量模型架構包括：

所述輕量模型架構包括MobileNet架構、ShuffleNet架構、SqueezeNet架構和Xception架構中的至少一種。

8.根據權利要求7所述的方法，其特征在于，所述圖像翻譯模型包括pix2pix模型、pix2pixHD模型和vid2vid模型中的至少一種。