[發明專利]一種面向超高清分辨率圖案的風格化系統及方法

有效

• 申請號: 201810603529.0
• 申請日: 2018-06-12
• 公開（公告）號: CN108960408B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 伍賽;張夢丹;金海云;吳參森
• 申請（專利權）人: 杭州米繪科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06T3/40
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種面向超高清分辨率圖案的風格化系統及方法。該發明基于神經網絡深度學習技術，是一種智能圖像濾鏡算法。該方法通過將目標圖上的繪畫風格應用到輸入圖上，從而將輸入圖轉換為具有和目標圖相同繪畫風格的新圖案。不同于其他風格化算法，本發明針對可打印的超高分辨率圖案。由于顯卡計算能力和存儲能力的限制，普通風格化算法不能渲染超高分辨率大圖，而本發明采用分而治之的并行算法，將渲染任務分配給多個顯卡同時處理，可以支持任意分辨率的圖案的風格化渲染。

技術領域

本發明涉及神經網絡、深度學習、并行計算、圖像處理、圖像識別領域，特別是涉及到基于神經網絡的生成對抗網絡，提供一種面向超高清分辨率圖案的風格化系統及方法。

背景技術

隨著神經網絡和深度學習技術的發展，使用深度學習技術進行圖像的圖像的處理和變換取得了突出的效果，比如：利用神經網絡進行黑白照片的上色、基于神經網絡的圖像色彩糾正等。這其中最火熱的應用是基于神經網絡的風格化濾鏡，它可以將輸入圖轉變為和目標圖繪畫風格一致的新圖案。國外的Prisma公司開發的風格化濾鏡成為最暢銷的手機App。

然而這些風格化濾鏡都是面向手機拍攝的低分辨率圖案，無法支持可打印需求。在普通28cm*28cm的面料上打印圖案就需要超過8K分辨率的超高清大圖，才能保證打印出來的效果。因為顯卡計算能力和存儲能力的限制。目前一塊中等檔次的顯卡具有顯存12GB，而處理1K分辨率圖案大約需要8GB的顯存，處理2K的圖案需要32GB，處理4K的圖案需要128GB。當前沒有任意一塊獨立顯卡可以支持到4K以上圖案的風格化渲染。而本發明則通過分而治之的并行計算方法使得可以出來任意大子圖案的風格化渲染。

發明內容

本發明的目的在于這對現有技術的不足，提供一種面向超高清分辨率圖案的風格化系統及方法。本發明能夠支持在普通顯卡設備上進行超高分辨率圖案的風格化渲染方法。

本發明解決其技術問題所采用的技術方案如下：

本發明利用神經網絡進行圖像轉換，使得輸入圖具有和目標圖相同的繪畫風格，并通過分而治之的并行策略，支持超高分辨率圖案的渲染：

一種面向超高清分辨率圖案的風格化系統，包括基于生成對抗網絡的風格化濾鏡模塊、圖像切分模塊、分布式圖像卷積計算模塊和面向批量正則化的采樣計算模塊；

所述的基于生成對抗網絡的風格化濾鏡模塊：模塊包括一個圖像生成網絡和一個圖像風格化效果判別網絡；圖像生成網絡對輸入圖案進行風格化變換；圖像風格化效果判別網絡用于判斷產生的圖案是否和目標圖案風格一致，并且和輸入圖具有相同的圖像內容；

該模塊基于生成對抗網絡，生成器網絡是一個包含三個Resnet卷積模塊的簡單網絡，負責對輸入圖進行風格化；判別網絡是一個標準VGG-19網絡，該網絡負責計算生成圖像、目標圖像和輸入圖像之間的差異；

所述的圖像切分模塊：負責將超高分辨率大圖切分為若干大小不一的子圖，每一張子圖都能夠在一張獨立顯卡上進行計算；切分后的子圖分配給不同的顯卡進行風格化，為了保證風格化后的圖像能夠正常拼接成完整的大圖，該模塊采用特定的圖像邊緣填充技術；

所述的分布式圖像卷積計算模塊：為了控制圖像切分模塊生成的子圖能夠并行分配到多顯卡集群中計算，通過對基于生成對抗網絡的風格化濾鏡模塊生成網絡中的卷積層進行改造，支持基于BSP模式的并行卷積計算；該模塊將子圖分發給不同的顯卡進行渲染計算；將計算分為卷積和同步，在不同的卷積計算之間協調不同顯卡之間的進度；最終該模塊將多個風格化結果進行合并以產生最終風格化結果；

所述的面向批量正則化的采樣計算模塊：通過對原始大圖的數據進行采樣，并根據批量正則化的需求求近似解，同步過程被異步采樣所替代，降低同步代價，使得并行效率接近于線性可擴展。