[發明專利]圖像翻譯模型的構建方法和裝置、圖像翻譯方法和裝置有效

申請號：	202010064084.0	申請日：	2020-01-20
公開（公告）號：	CN113139893B	公開（公告）日：	2023-10-03
發明（設計）人：	黃慧娟;孫陽;高遠;宋叢禮;鄭文	申請（專利權）人：	北京達佳互聯信息技術有限公司
主分類號：	G06T3/00	分類號：	G06T3/00
代理公司：	華進聯合專利商標代理有限公司 44224	代理人：	馮右明
地址：	100085 北京市海淀***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	圖像翻譯模型構建方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本申請涉及一種圖像翻譯模型的構建方法、裝置、電子設備和存儲介質。所述方法包括：獲取多個樣本圖像以及對應的樣本翻譯圖像；將樣本圖像輸入至預先構建的圖像翻譯模型；通過圖像翻譯模型，預測樣本圖像與樣本翻譯圖像間的預測差異圖像以及預測合成權重參數；通過圖像翻譯模型，根據預測合成權重參數疊加樣本圖像以及預測差異圖像，得到樣本圖像的預測翻譯圖像；計算樣本翻譯圖像以及預測翻譯圖像間的差值，得到圖像翻譯模型的損失值；根據損失值反向訓練預先構建的圖像翻譯模型，直至圖像翻譯模型達到收斂條件，得到訓練完成的圖像翻譯模型。采用本方法使得圖像翻譯模型只需要學習樣本圖像與樣本翻譯圖像之間的差異信息，有效壓縮模型的計算量。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種圖像翻譯模型的構建方法和裝置、圖像翻譯方法和裝置。

背景技術

隨著計算機技術的不斷發展，圖像翻譯技術越來越普及。圖像翻譯是指將一種圖像翻譯成另一種圖像，比如將人臉圖像翻譯成帶胡子的人臉圖像，又比如將人臉圖像翻譯成素描的人臉畫像。傳統的圖像翻譯技術主要是通過計算量巨大的深度學習的方法來實現，難以部署在手機端等計算力有限的用戶終端上，即使通過現有的模型壓縮方法，例如對圖像翻譯模型進行剪枝、蒸餾等操作，壓縮圖像翻譯模型，降低圖像翻譯模型的計算量，但會導致圖像翻譯效果大打折扣。

發明內容

本公開提供一種圖像翻譯模型的構建方法和裝置、圖像翻譯方法和裝置，以至少解決相關技術中圖像翻譯模型計算量大，難以部署在算力有限的用戶終端上。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種圖像翻譯模型的構建方法，包括：

獲取訓練樣本圖像集，其中，所述訓練樣本圖像集包括多個樣本圖像以及與所述樣本圖像對應的樣本翻譯圖像；

將所述樣本圖像輸入至預先構建的圖像翻譯模型，得到所述樣本圖像與所述樣本翻譯圖像間的預測差異圖像，以及所述樣本圖像與所述預測差異圖像的預測合成權重參數；

通過所述預先構建的圖像翻譯模型，根據所述預測合成權重參數疊加所述樣本圖像以及所述預測差異圖像，得到所述樣本圖像的預測翻譯圖像；

計算所述樣本翻譯圖像以及所述預測翻譯圖像間的差值，得到所述圖像翻譯模型的損失值；

根據所述損失值反向訓練所述預先構建的圖像翻譯模型，直至所述圖像翻譯模型達到收斂條件，得到訓練完成的圖像翻譯模型。

在一個實施例中，所述圖像翻譯模型包括圖像差異預測網絡，其中，所述圖像差異預測網絡的輸出通道包括R通道、G通道、B通道以及權重參數通道；

所述將所述樣本圖像輸入至預先構建的圖像翻譯模型，得到所述樣本圖像與所述樣本翻譯圖像間的預測差異圖像，以及所述樣本圖像與所述預測差異圖像的預測合成權重參數的步驟，包括：

將所述樣本圖像輸入至圖像差異網絡中，通過所述圖像差異圖像網絡，根據所述樣本圖像的圖像數據獲取所述預測差異圖像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述權重參數通道的預測合成權重參數；

根據所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述預測差異圖像。