[發明專利]圖像翻譯模型的構建方法和裝置、圖像翻譯方法和裝置

有效

• 申請號: 202010064084.0
• 申請日: 2020-01-20
• 公開（公告）號: CN113139893B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 黃慧娟;孫陽;高遠;宋叢禮;鄭文
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 馮右明

1.一種圖像翻譯模型的構建方法，其特征在于，包括：

獲取訓練樣本圖像集，其中，所述訓練樣本圖像集包括多個樣本圖像以及與所述樣本圖像對應的樣本翻譯圖像；

將所述樣本圖像輸入至預先構建的圖像翻譯模型，得到所述樣本圖像與所述樣本翻譯圖像間的預測差異圖像，以及所述樣本圖像與所述預測差異圖像的預測合成權重參數；

通過所述預先構建的圖像翻譯模型，根據所述預測合成權重參數疊加所述樣本圖像以及所述預測差異圖像，得到所述樣本圖像的預測翻譯圖像；

計算所述樣本翻譯圖像以及所述預測翻譯圖像間的差值，得到所述圖像翻譯模型的損失值；

根據所述損失值反向訓練所述預先構建的圖像翻譯模型，直至所述圖像翻譯模型達到收斂條件，得到訓練完成的圖像翻譯模型。

2.根據權利要求1所述的圖像翻譯模型的構建方法，其特征在于，所述圖像翻譯模型包括圖像差異預測網絡，其中，所述圖像差異預測網絡的輸出通道包括R通道、G通道、B通道以及權重參數通道；

所述將所述樣本圖像輸入至預先構建的圖像翻譯模型，得到所述樣本圖像與所述樣本翻譯圖像間的預測差異圖像，以及所述樣本圖像與所述預測差異圖像的預測合成權重參數的步驟，包括：

將所述樣本圖像輸入至圖像差異網絡中，通過所述圖像差異圖像網絡，根據所述樣本圖像的圖像數據獲取所述預測差異圖像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述權重參數通道的預測合成權重參數；

根據所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述預測差異圖像。

3.根據權利要求1所述的圖像翻譯模型的構建方法，其特征在于，所述圖像翻譯模型包括圖像合成網絡；

所述通過所述預先構建的圖像翻譯模型，根據所述預測合成權重參數疊加所述樣本圖像以及所述預測差異圖像，得到所述樣本圖像的預測翻譯圖像的步驟，包括：

根據所述預測合成權重參數，確定所述樣本圖像的第一合成權重值以及所述預測差異圖像的第二合成權重值；

通過所述圖像合成網絡計算所述第一合成權重值與所述樣本圖像的圖像數據的第一乘積，得到預測翻譯圖像基礎數據；

通過所述圖像合成網絡計算所述第二合成權重值與所述預測差異圖像的圖像數據的第二乘積，得到預測翻譯圖像特征數據；

通過所述圖像合成網絡將所述預測翻譯圖像基礎數據以及所述預測翻譯圖像特征數據進行疊加，得到預測翻譯圖像。

4.根據權利要求3所述的圖像翻譯模型的構建方法，其特征在于，所述通過所述預先構建的圖像翻譯模型，根據所述預測合成權重參數疊加所述樣本圖像以及所述預測差異圖像，得到所述樣本圖像的預測翻譯圖像的步驟，包括：

根據out＝alpha*in+(1–alpha)*rgb獲取預測翻譯圖像；

其中，out表示所述預測翻譯圖像，in表示所述樣本圖像，rgb表示所述預測差異圖像，alpha表示所述預測合成權重參數。

5.一種圖像翻譯方法，其特征在于，包括

獲取待處理的原始圖像；

將所述原始圖像輸入至圖像翻譯模型中，得到所述原始圖像的差異圖像以及合成權重參數；其中，所述圖像翻譯模型為根據權利要求1至4中任一項所述的圖像翻譯模型的構建方法得到的；

通過所述圖像翻譯模型，根據所述合成權重參數疊加所述原始圖像以及所述差異圖像，獲取所述原始圖像的目標翻譯圖像。