[發明專利]一種基于視頻解譯的交互式視頻風格化渲染方法

無效

• 申請號: 201110302054.X
• 申請日: 2011-09-30
• 公開（公告）號: CN102542593A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: 劉樹郁;張新楠;江波
• 申請（專利權）人: 中山大學
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06T7/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于視頻解譯的交互式視頻風格化渲染方法，其特征在于包括有交互式視頻語義分割模塊、視頻風格化模塊。

交互式視頻語義分割模塊的分割方法包括如下步驟：

1)關鍵幀圖像的交互式分割和自動識別；

2)關鍵幀之間稠密特征點的匹配；

3)區域競爭分割；

視頻風格化模塊的風格化方法包括如下步驟：

1)基于語義解析的關鍵幀非真實感繪制；

2)序列幀的筆觸傳播；

3)用防抖的阻尼筆刷系統處理。

對視頻的風格化將依次使用交互式視頻語義分割模塊與視頻風格化模塊這兩個模塊，即先使用交互式視頻語義分割模塊對視頻進行語義分割，再使用視頻風格化模塊對分割后的視頻進行風格化渲染。

2.根據權利要求1所述的基于視頻解譯的交互式視頻風格化渲染方法，其特征在于上述步驟的關鍵幀圖像的交互式分割和自動識別方法如下：

將分割的語義區域根據其不同的材質屬性將他們分成了十二類，包括天空/云、山脈/陸地，巖石/建筑物、樹葉/樹叢、頭發/毛發、花/水果、皮膚/皮革、樹干/樹枝、抽象化背景、木頭/塑料、水、衣服；

實際操作中，采用了紋理、顏色分布、位置信息這三個主要特征進行訓練和識別，給定一個區域圖像X，定義其類別c的條件概率為：?

(式1)

式中后四項分別是紋理勢能函數，顏色勢能函數，位置勢能函數和歸一化項。

紋理勢能函數定義為Ψ_i(c_i，X；θ_Ψ)＝logP(c_i|X，i)，P(c_i|X，i)，是由Boost分類器給定的一個歸一化的分布函數；

顏色勢能函數定義為π(c_i，X；θ_n)＝log∑_kθ_n(c_i，k)P(k|x_i)，用CIELab顏色空間中的高斯混合模型(Gaussian?Mixture?Models：GMMs)來表示顏色模型，對給定圖像中的一個像素顏色x，其條件概率為：?其中μ_k和∑k分別表示第k個顏色聚類的均值和方差；

位置勢能函數定義為λ(c_i，X；θ_λ)＝logθ₂(c_i，i)，相對于前面兩個勢能函數而言，位置勢能函數相對較弱，在這個函數定義中，圖像像素的類別標號僅僅與在圖像中的絕對位置相關；

利用此方法針對12類材質進行訓練，然后采用式1給定一個圖像區域中每個像素的對于各個類別的概率，最后統計區域中所有像素，采用投票的方式決定每個區域的類別；在風格化渲染過程中，畫刷的選擇由物體區域識別出的材質決定，為實現自動渲染打下了基礎。