[發(fā)明專利]一種基于GPU的實時圖像視頻油畫風(fēng)格化方法

在審

• 申請?zhí)枺?/td>: 202010794522.9
• 申請日: 2020-08-10
• 公開（公告）號: CN111951345A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 張金礦;熊永春
• 申請（專利權(quán)）人: 杭州趣維科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T3/00;G06K9/62;G06T7/13;G06T7/44
• 代理公司: 杭州橙知果專利代理事務(wù)所(特殊普通合伙) 33261
• 代理人: 賀龍萍

本發(fā)明公開了一種基于GPU的實時圖像視頻油畫風(fēng)格化方法。它具體包括如下步驟：加載圖片生成圖像紋理，加載背景圖片生成背景紋理；加載參數(shù)，包括圖層參數(shù)、融合參數(shù)、高度參數(shù)、光照參數(shù)；根據(jù)圖層參數(shù)執(zhí)行分層渲染得到圖層紋理；使用索貝爾算子對圖像紋理進(jìn)行邊緣提取，然后使用高斯模糊平滑和線積分卷積得到高度紋理；根據(jù)融合參數(shù)融合背景紋理、圖層紋理、圖像紋理和高度紋理；最后根據(jù)紋理圖片的像素顏色值估計每個對應(yīng)像素坐標(biāo)uv的法向量，按照Phone光照模型選擇合適參數(shù)處理紋理圖片增加紋理光照細(xì)節(jié)；渲染最終紋理到屏幕；轉(zhuǎn)換最終紋理到圖片并保存。本發(fā)明的有益效果是：實時風(fēng)格化轉(zhuǎn)換；達(dá)到分層繪畫的效果；輸出各樣風(fēng)格效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像視頻處理相關(guān)技術(shù)領(lǐng)域，尤其是指一種基于GPU的實時圖像視頻油畫風(fēng)格化方法。

背景技術(shù)

圖像和視頻的油畫風(fēng)格化是計算機(jī)圖形學(xué)中非真實感繪制的一個熱門問題，在電影、動畫和游戲等的藝術(shù)化表現(xiàn)方式中有著非常廣泛的應(yīng)用。現(xiàn)有的油畫風(fēng)格化方法大致分為三類：第一類是基于濾波的方法，這種方法使用保邊的濾波或者像素量子化把圖像中的相似像素區(qū)域合并，其有較高的執(zhí)行效率但風(fēng)格化的效果比較單一無法形成覆蓋多種多樣的油畫風(fēng)格；第二類是基于筆刷的方法，該方法模擬繪畫過程中的筆刷效果根據(jù)原始圖像的紋理一筆一筆的畫到畫布上，其可以模擬多種油畫風(fēng)格但計算過程較復(fù)雜無法做到實時化甚至移動端的實時化；第三類是基于深度學(xué)習(xí)的方法，該方法能很好地模擬特定的風(fēng)格化，但其還無法達(dá)到移動端實時化，而且深度學(xué)習(xí)昂貴的計算條件還不能滿足復(fù)雜的移動端設(shè)備要求。

發(fā)明內(nèi)容

本發(fā)明是為了克服現(xiàn)有技術(shù)中存在上述的不足，提供了一種能夠?qū)崟r風(fēng)格化轉(zhuǎn)換的基于GPU的實時圖像視頻油畫風(fēng)格化方法。

為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于GPU的實時圖像視頻油畫風(fēng)格化方法，具體包括如下步驟：

(1)加載圖片生成圖像紋理，加載背景圖片生成背景紋理；

(2)加載參數(shù)，包括圖層參數(shù)、融合參數(shù)、高度參數(shù)、光照參數(shù)；

(3)根據(jù)圖層參數(shù)執(zhí)行分層渲染得到圖層紋理；

(4)使用索貝爾Sobel算子對圖像紋理進(jìn)行邊緣提取，然后使用高斯模糊平滑和線積分卷積得到高度紋理；

(5)根據(jù)融合參數(shù)融合背景紋理、圖層紋理、圖像紋理和高度紋理；

(6)最后根據(jù)紋理圖片的像素顏色值估計每個對應(yīng)像素坐標(biāo)uv的法向量，按照Phone光照模型選擇合適參數(shù)處理紋理圖片，增加紋理光照細(xì)節(jié)；

(7)渲染最終紋理到屏幕；

(8)轉(zhuǎn)換最終紋理到圖片并保存。

本發(fā)明利用GPU強(qiáng)大的并行處理能力，將油畫風(fēng)格化中絕大部分對圖像的操作轉(zhuǎn)換為GPU中的紋理操作，以達(dá)到對圖像和視頻的實時風(fēng)格化轉(zhuǎn)換，甚至移動端的實時轉(zhuǎn)換；采用模擬分層繪制以達(dá)到真實油畫繪畫過程中的分層繪畫的效果；可自定義分層繪制中各個圖層的參數(shù)可以輸出各種各樣的風(fēng)格效果。

作為優(yōu)選，在步驟(3)中，分層渲染采用了在GPU中分層繪制的方法，采用每一個圖層串行地在GPU中繪制，當(dāng)前圖層接受上一圖層的紋理輸出并用片段著色器進(jìn)行處理，最后把處理的結(jié)果輸出到新的紋理供下一圖層使用，每一圖層的參數(shù)如下：

Quality：代表當(dāng)前層所能還原的最大圖像質(zhì)量，控制筆刷的密集度，該值越大代表筆刷越密集所能還原的圖像質(zhì)量越高；

BrushTexture：筆刷紋理，每一層都能接受一個不同的筆刷紋理，每個uv點在該紋理上采樣，基于該紋理生成特定筆刷的樣式；

BrushWidth：筆刷半徑，代表與Cell大小的比例，用以縮放筆刷紋理；