[發(fā)明專利]一種模型訓(xùn)練方法及模型訓(xùn)練裝置

在審

• 申請?zhí)枺?/td>: 202110496339.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113112400A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計）人: 王鑫宇;劉炫鵬;陳瀧翔;楊國基;劉致遠;劉云峰
• 申請（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王學(xué)強

1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：

利用訓(xùn)練集中的第一數(shù)據(jù)對圖像翻譯模型的生成器和判別器分別進行訓(xùn)練，并將訓(xùn)練后的圖像翻譯模型確定為第一圖像翻譯模型，其中，所述生成器為編碼模型-解碼模型結(jié)構(gòu)，所述編碼模型采用的是殘差網(wǎng)絡(luò)架構(gòu)，所述第一數(shù)據(jù)包括目標幀圖像、所述目標幀圖像的輪廓線數(shù)據(jù)、所述目標幀圖像的距離圖像數(shù)據(jù)、所述目標幀圖像的前N幀圖像、所述前N幀圖像的輪廓線數(shù)據(jù)和所述前N幀圖像的距離圖像數(shù)據(jù)，其中，所述N為大于等于2的整數(shù)，所述目標幀圖像為所述訓(xùn)練集中除了第一幀圖像和第二幀圖像以外的任意一幀或任意多幀圖像；

將所述第一圖像翻譯模型的所述編碼模型的殘差網(wǎng)絡(luò)架構(gòu)修改為輕量模型架構(gòu)，以得到第二圖像翻譯模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所述第二圖像翻譯模型的生成器中的編碼模型首層中的大卷積算子修改為預(yù)設(shè)數(shù)量的小卷積算子，以得到第三圖像翻譯模型，其中，所述預(yù)設(shè)數(shù)量的小卷積算子和所述大卷子算子在輸入相同的輸入數(shù)據(jù)時，所述預(yù)設(shè)數(shù)量的小卷積算子對所述輸入數(shù)據(jù)的數(shù)據(jù)運算量較小。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

利用所述訓(xùn)練集中的第二數(shù)據(jù)對所述第三圖像翻譯模型中的生成器進行訓(xùn)練，其中，所述第二數(shù)據(jù)包括所述目標幀圖像、所述目標幀圖像的輪廓線數(shù)據(jù)、所述目標幀圖像的前N幀圖像和所述前N幀圖像的輪廓線數(shù)據(jù)；

根據(jù)所述第三圖像翻譯模型的損失函數(shù)，計算所述第三圖像翻譯模型的第一損失；

根據(jù)所述第一損失和反向傳播算法，對所述第三圖像翻譯模型中生成器的卷積層的權(quán)重進行梯度更新，以得到第四圖像翻譯模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

利用所述訓(xùn)練集中的第三數(shù)據(jù)對所述第四圖像翻譯模型中的生成器進行訓(xùn)練，其中，所述第三數(shù)據(jù)包括所述目標幀圖像、所述目標幀圖像的輪廓線數(shù)據(jù)、所述目標幀圖像的前M幀圖像和所述前M幀圖像的輪廓線數(shù)據(jù)，其中，所述M為大于等于1且小于N的整數(shù)；

根據(jù)所述第四圖像翻譯模型的損失函數(shù)，計算所述第四圖像翻譯模型的第二損失；

根據(jù)所述第二損失和反向傳播算法，對所述第四圖像翻譯模型中生成器的卷積層的權(quán)重進行梯度更新，以得到第五圖像翻譯模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

利用所述訓(xùn)練集中的第四數(shù)據(jù)對所述第五圖像翻譯模型中的生成器進行訓(xùn)練，其中，所述第四數(shù)據(jù)包括所述目標幀圖像、所述目標幀圖像的輪廓線數(shù)據(jù)、所述第一幀圖像和所述第一幀圖像的輪廓線數(shù)據(jù)；

根據(jù)所述第五圖像翻譯模型的損失函數(shù)，計算所述第五圖像翻譯模型的第三損失；

根據(jù)所述第三損失和反向傳播算法，對所述第五圖像翻譯模型中生成器的卷積層的權(quán)重進行梯度更新，以得到第六圖像翻譯模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

利用所述訓(xùn)練集中的第五數(shù)據(jù)對所述第六圖像翻譯模型中的生成器進行訓(xùn)練，其中，所述第五數(shù)據(jù)包括所述目標幀圖像、所述目標幀圖像的輪廓線數(shù)據(jù)，降低像素后的所述第一幀圖像和所述第一幀圖像的輪廓線數(shù)據(jù)；

根據(jù)所述第六圖像翻譯模型的損失函數(shù)，計算所述第六圖像翻譯模型的第四損失；

根據(jù)所述第四損失和反向傳播算法，對所述第六圖像翻譯模型中生成器的卷積層的權(quán)重進行梯度更新，以得到第七圖像翻譯模型。

7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其特征在于，所述輕量模型架構(gòu)包括：

所述輕量模型架構(gòu)包括MobileNet架構(gòu)、ShuffleNet架構(gòu)、SqueezeNet架構(gòu)和Xception架構(gòu)中的至少一種。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述圖像翻譯模型包括pix2pix模型、pix2pixHD模型和vid2vid模型中的至少一種。