[發(fā)明專利]一種基于GPU的實時圖像視頻油畫風(fēng)格化方法

在審

• 申請?zhí)枺?/td>: 202010794522.9
• 申請日: 2020-08-10
• 公開（公告）號: CN111951345A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 張金礦;熊永春
• 申請（專利權(quán)）人: 杭州趣維科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T3/00;G06K9/62;G06T7/13;G06T7/44
• 代理公司: 杭州橙知果專利代理事務(wù)所(特殊普通合伙) 33261
• 代理人: 賀龍萍

1.一種基于GPU的實時圖像視頻油畫風(fēng)格化方法，其特征是，具體包括如下步驟：

(1)加載圖片生成圖像紋理，加載背景圖片生成背景紋理；

(2)加載參數(shù)，包括圖層參數(shù)、融合參數(shù)、高度參數(shù)、光照參數(shù)；

(3)根據(jù)圖層參數(shù)執(zhí)行分層渲染得到圖層紋理；

(4)使用索貝爾Sobel算子對圖像紋理進行邊緣提取，然后使用高斯模糊平滑和線積分卷積得到高度紋理；

(5)根據(jù)融合參數(shù)融合背景紋理、圖層紋理、圖像紋理和高度紋理；

(6)最后根據(jù)紋理圖片的像素顏色值估計每個對應(yīng)像素坐標uv的法向量，按照Phone光照模型選擇合適參數(shù)處理紋理圖片，增加紋理光照細節(jié)；

(7)渲染最終紋理到屏幕；

(8)轉(zhuǎn)換最終紋理到圖片并保存。

2.根據(jù)權(quán)利要求1所述的一種基于GPU的實時圖像視頻油畫風(fēng)格化方法，其特征是，在步驟(3)中，分層渲染采用了在GPU中分層繪制的方法，采用每一個圖層串行地在GPU中繪制，當(dāng)前圖層接受上一圖層的紋理輸出并用片段著色器進行處理，最后把處理的結(jié)果輸出到新的紋理供下一圖層使用，每一圖層的參數(shù)如下：

Quality：代表當(dāng)前層所能還原的最大圖像質(zhì)量，控制筆刷的密集度，該值越大代表筆刷越密集所能還原的圖像質(zhì)量越高；

BrushTexture：筆刷紋理，每一層都能接受一個不同的筆刷紋理，每個uv點在該紋理上采樣，基于該紋理生成特定筆刷的樣式；

BrushWidth：筆刷半徑，代表與Cell大小的比例，用以縮放筆刷紋理；

Aspect：筆刷的長寬比，大的長寬比能夠產(chǎn)生更加抽象的風(fēng)格效果；

Detail：根據(jù)圖像在當(dāng)前Cell的像素梯度的模來控制該Cell的筆刷是否應(yīng)該被繪制，表示保留的細節(jié)程度，顏色變化越大像素梯度的模越大則該筆刷更能表現(xiàn)細節(jié)；

Delta：根據(jù)上一圖層當(dāng)前Cell的像素與原始圖像像素差異來控制當(dāng)前Cell的筆刷是否應(yīng)該被繪制；

Force：當(dāng)前uv點與上一層紋理融合時的融合比例，用以表示該層筆刷繪制時的力度；

Noise：噪音強度；

每一個圖層都會有一個quality參數(shù)表示該圖層最大能表現(xiàn)的圖像質(zhì)量，取值范圍為0～1，并且根據(jù)quality把圖像網(wǎng)格化為Cell，Cell的個數(shù)為N_Image·quality，N_Image為圖像的像素個數(shù)，則每個Cell的大小為然后基于每個Cell生成筆刷，GPU中處理只能以每個紋理的uv點進行處理，因此需要在每一個圖層計算當(dāng)前uv點的顏色時計算該uv點所屬的筆刷并且在該筆刷中的位置。

3.根據(jù)權(quán)利要求2所述的一種基于GPU的實時圖像視頻油畫風(fēng)格化方法，其特征是，分層繪制的具體流程如下：

(31)綁定上一圖層的輸出紋理和原始圖片紋理以及當(dāng)前圖層參數(shù)到GPU自定義著色器中；

(32)根據(jù)Quality劃分Cell，計算每個Cell的大小，根據(jù)BrushWidth和Aspect計算筆刷的長寬以每個Cell為中心繪制筆刷，根據(jù)Quality計算該層像素采樣時的所使用的細節(jié)層LOD和采樣偏移PixelOffset；

(33)計算當(dāng)前uv所在的Cell；

(34)根據(jù)當(dāng)前Cell遍歷周圍鄰域內(nèi)的Cell進行筆刷的繪制得到該uv點最終的顏色；

(35)根據(jù)Force融合上一圖層該uv點的顏色與上一步多個Cell融合后的顏色；

(36)輸出到幀緩存，并映射到紋理供下一層使用。