[發明專利]一種基于Retinex模型的卡通風格遷移方法

在審

• 申請號: 202110305033.7
• 申請日: 2021-03-10
• 公開（公告）號: CN113066114A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 施云惠;歐陽浩然;齊娜;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/40
• 分類號: G06T7/40;G06T7/90;G06T13/20;G06T15/50;G06N3/08;G06N3/02
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

一種基于Retinex模型的卡通風格遷移方法屬于計算機視覺領域。將真實世界的照片轉換成卡通風格的圖像是一項有意義且具有挑戰性的任務。現有方法由于沒有分別考慮卡通圖像和現實照片在結構、紋理和光照方面的一致性和連續性，不能得到令人滿意的卡通化結果。本發明中Retinex模型聯合學習照片和卡通圖像的內在屬性(形狀和紋理)和外在屬性(光照)。RexGAN框架包括通過反射損失來學習從照片圖像到卡通圖像的映射的ReflectGAN以及通過光照損失來進一步促進生成圖像的結構和光照的LuminGAN。本發明不僅能夠從真實照片中生成高質量的卡通圖像，而且具有清晰的邊緣和結構以及正確的照明，且在主觀效果上優于目前最先進的方法。

技術領域

本發明涉及風格遷移、圖像低光增強等領域，設計了一種基于Retinex分解模型的卡通風格遷移方法。本發明屬于計算機視覺領域，具體涉及神經風格遷移、Retinex圖像分解算法等技術。

背景技術

近年來，科幻題材的影視作品越來越受人們的歡迎。伴隨著計算機圖形計算的發展，影視特效的制作質量也有了長足的進步。制作者們可以在電腦上完成更細膩、真實、震撼的畫面效果。而目前主流的影視特效制作軟件包含Houdini、Nuke以及MAYA。著名動畫電影《最終幻想》和《馬達加斯加》的人物場景塑造都是出自MAYA之手。但是基于這些軟件的特效制作過程繁雜，其中就包括場景搭建，而這不僅需要耗費大量的財力人力，還需專業的技術人員以及大量的時間。最近在深度學習的領域中，關于風格遷移的研究倍受關注，其主要目標是將普通圖像轉換為具有藝術風格的畫作，這可以為影視特效的制作提供良好的技術支持。而卡通這種藝術風格主要強調與主題密切相關的信息，因此會簡化和消除混雜的部分。也正是因為這種獨特的感染力，這種藝術風格被廣泛應用于生活中，不僅是在影視方面，還有游戲、廣告等領域。因此，卡通風格遷移的研究具有重要意義。

自20世紀90年代以來，許多非真實感渲染(NPR)算法被開發用于特定的風格，包括卡通風格、油畫風格和水墨畫風格。研究人員通常使用cel陰影或濾波器處理來獲得具體的樣式，這些方法被廣泛應用于各種軟件中。近年來，基于卷積神經網絡的神經風格遷移(NST)方法應運而生，其利用深度特征之間的相關性在繪畫風格上取得了良好的效果。此外，還有另一組基于生成對抗網絡(GANS)的方法，以對抗的方式在兩個域之間傳輸圖像。隨后，又誕生了一系列基于循環方式的方法通過訓練未配對數據來完成域的遷移。此外，CartoonGAN、ComixGAN、AnimeGAN在卡通風格遷移上也取得了很大的成功。然而，這些方法仍然在兩個方面表現出不令人滿意的結果。1)原圖像弱光區域的結構和紋理容易缺失；2)生成的卡通圖像沒有保留原圖像的全局色彩外觀。

在低光增強領域，Retinex模型作為人類視覺系統的感知模型，將圖像分解為光照和反射成分。其物理目標可以描述為O＝I⊙R，即將觀測圖像O分解為光照I和反射率R，⊙表示元素逐個相乘。近年來，WVM、JeiP、STAR以這些為代表的方法在Retinex的基礎上可以很好將圖像分解為光照與反射分量。其中JeiP模型可以通過形狀先驗更好地保留結構信息，通過紋理先驗更好地估計反射率，通過光照先驗更好地獲取光源。因此可以利用這些特性來更好地傳遞風格化，并且提高光照以及保留生成圖像的結構。

提出基于Retinex模型的生成對抗網絡(GAN)框架，記為RexGAN。首先，通過引入JeiP－Retinex模型，將圖像分解為其反射分量進行消除外在性質(光照)的影響。通過利用動畫圖像的分段性和圖像的分段性反射分量的分段連續性質，然后通過迭代的方式以及反射損失學習從照片圖像到卡通圖像的反射的映射。最后，通過照明損失進一步改善照明和保護所生成的圖像的結構。

發明內容