[發明專利]對線稿圖像進行上色的方法、設備以及存儲介質

在審

• 申請號: 201810866829.8
• 申請日: 2018-08-01
• 公開（公告）號: CN109147003A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 馬慕晗
• 申請（專利權）人: 北京東方暢享科技有限公司
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06K9/62
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 孫黎生

1.一種對線稿圖像進行上色的方法，其特征在于，包括：

獲取第一線稿圖像以及第一參考圖像，其中所述第一參考圖像包含對所述第一線稿圖像進行上色時所參考的圖像信息；以及

利用基于機器學習訓練的模型，基于所述第一參考圖像，對所述第一線稿圖像進行上色處理。

2.根據權利要求1所述的方法，其特征在于，利用基于機器學習訓練的模型，基于所述第一參考圖像，對所述第一線稿圖像進行上色處理的操作，包括：

利用包括多個卷積層的第一卷積模型，從所述第一線稿圖像中提取線稿圖像特征；

利用包括多個卷積層的第二卷積模型，從所述第一參考圖像中提取參考圖像特征；

利用包括多個卷積層的第三卷積模型，基于所述第一線稿圖像特征以及所述參考圖像特征，生成編碼的色稿圖像特征，其中所述色稿圖像特征包含色稿圖像具有的區域劃分以及區域色彩信息；以及

利用包括多個卷積層的第四卷積模型，基于所述色稿圖像特征，生成第一色稿圖像作為上色后的所述線稿圖像。

3.根據權利要求2所述的方法，其特征在于，還包括通過以下操作對所述基于機器學習訓練的模型進行訓練：

獲取第二色稿圖像以及第二參考圖像；

基于所獲取的第二色稿圖像生成第二線稿圖像；

基于所述第二線稿圖像以及所述第二參考圖像，利用所述基于機器學習訓練的模型，對所述第二線稿圖像進行上色處理；

對所述第二色稿圖像以及上色處理后的所述第二線稿圖像進行比對；以及

利用所述比對后的結果，對所述基于機器學習訓練的模型進行優化。

4.根據權利要求3所述的方法，其特征在于，對所述第二色稿圖像以及上色處理后的所述第二線稿圖像進行比對的操作，包括計算所述第二色稿圖像以及上色處理后的所述第二線稿圖像之間的L1空間距離，以及對所述基于機器學習訓練的模型進行優化的操作，包括：

將所述L1空間距離作為損失函數，計算所述損失函數的梯度；以及

基于所述梯度，根據隨機梯度下降原理對所述基于機器學習訓練的模型進行優化。

5.根據權利要求4所述的方法，其特征在于，所述優化包括對所述機器學習訓練的模型進行以下處理中的至少一種：參數二值化、推理以及剪枝。

6.根據權利要求1所述的方法，其特征在于，通過以下操作對所述基于機器學習訓練的模型進行評估：

獲取第三線稿圖像、第三參考圖像以及與所述第三線稿圖像對應的真實色稿圖像；

基于所述第三線稿圖像以及所述第三參考圖像，利用所述基于機器學習訓練的模型生成第三色稿圖像；

計算所述第三色稿圖像與所述真實色稿圖像的第一相似度以及所述第三色稿圖像與所述第三參考圖像的第二相似度；

計算所述第一相似度與所述第二相似度的相似度之和；以及

利用所計算的相似度之和，評估所述第三色稿是否在保證內容不變的前提下按照所述第三參考圖像上色。

7.根據權利要求6所述的方法，其特征在于，所述第一相似度為選自以下各項中的任意一項相似度：結構相似度、特征相似度以及多層級結構相似度。

8.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時由處理器執行權利要求1至7中任意一項所述的方法。

9.一種對線稿圖像進行上色的設備(1200)，其特征在于，包括：

處理器(1210)；以及

存儲器(1220)，與所述處理器連接，用于為所述處理器提供處理以下處理步驟的指令：

獲取第一線稿圖像以及第一參考圖像，其中所述第一參考圖像包含對所述第一線稿圖像進行上色時所參考的圖像信息；以及

利用基于機器學習訓練的模型，基于所述第一參考圖像，對所述第一線稿圖像進行上色處理。

10.一種對線稿圖像進行上色的設備(1300)，其特征在于，包括：

圖像獲取模塊(1310)，用于獲取第一線稿圖像以及第一參考圖像，其中所述第一參考圖像包含對所述第一線稿圖像進行上色時所參考的圖像信息；以及

上色模塊(1320)，用于利用基于機器學習訓練的模型，基于所述第一參考圖像，對所述第一線稿圖像進行上色處理。