[發(fā)明專利]一種基于樣例的動態(tài)文本特效的自動遷移方法

有效

• 申請?zhí)枺?/td>: 201810796815.3
• 申請日: 2018-07-19
• 公開（公告）號: CN110738715B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 連宙輝;門怡芳;唐英敏;肖建國
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T3/00
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 黃鳳茹

本發(fā)明公布了一種基于樣例的動態(tài)文本特效的自動遷移方法，輸入包含素材文本圖、素材動態(tài)特效字或素材風(fēng)格動畫和目標(biāo)文本圖的一組樣例；依據(jù)素材風(fēng)格動畫中的動態(tài)風(fēng)格及目標(biāo)文本圖中的文本內(nèi)容，通過關(guān)鍵幀提取、時空相干性構(gòu)建、基于改進PatchMatch的紋理合成的方法，使得素材風(fēng)格動畫中的文本特效充分遷移到目標(biāo)文本中，保持整體及細節(jié)的紋理風(fēng)格，自動生成動態(tài)效果生動逼真、自然流暢的目標(biāo)動態(tài)特效字/目標(biāo)風(fēng)格動畫；目標(biāo)風(fēng)格動畫由多幀目標(biāo)風(fēng)格圖構(gòu)成。本發(fā)明能夠解決目標(biāo)風(fēng)格動畫中紋理閃爍、抖動的時序問題，解決復(fù)雜流體特效效果丟失、遷移不完整的外觀問題，保證各幀的紋理連續(xù)性。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和圖形學(xué)技術(shù)領(lǐng)域，涉及一種基于樣例的動態(tài)文本特效遷移方法，能夠?qū)崿F(xiàn)動態(tài)特效在不同文本之間的自動遷移，生成時序穩(wěn)定、風(fēng)格還原度高的逼真動態(tài)特效字。

背景技術(shù)

風(fēng)格遷移技術(shù)作為計算機視覺和圖形學(xué)領(lǐng)域的一個研究熱點，能夠?qū)崿F(xiàn)風(fēng)格紋理在不同內(nèi)容之間的遷移，視頻風(fēng)格遷移則是圖像風(fēng)格遷移在時序空間上的拓展，大多依據(jù)目標(biāo)運動流對當(dāng)前幀預(yù)測下一幀結(jié)果，用于引導(dǎo)下一幀的合成，從而實現(xiàn)幀與幀之間時序上的相干性，防止出現(xiàn)時序紋理錯誤，如閃爍、抖動等。Yang(Shuai Yang,Jiaying Liu,Zhouhui Lian,and Zongming Guo.2017.Awesome typography:Statistics-based texteffects transfer.In Proceedingsof the IEEE Conference on Computer Vision andPatternRecognition.7464–7473.)提出了靜態(tài)文本特效遷移方法，假設(shè)所有距離文字骨架線相等的圖像塊具有相同的紋理風(fēng)格模式，從而建立距離模型用于引導(dǎo)生成圖像中特效紋理的空間分布。對于動態(tài)文本特效遷移任務(wù)則是對靜態(tài)方法在時序空間上的拓展，相較靜態(tài)字能夠生成更加復(fù)雜逼真的動態(tài)效果，而最直接的實現(xiàn)方法則是在逐幀進行文本特效遷移，在幀與幀之間參考視頻風(fēng)格遷移的時序引導(dǎo)方法添加時序限制，以保證生成結(jié)果的時序穩(wěn)定性。由于動態(tài)特效包含多種子效果、甚至將靜態(tài)特效和動態(tài)特效相融合(如火焰燃燒的鐵銹字效，既包含動態(tài)火焰效果，又包含靜態(tài)鐵銹效果)，具有一定的復(fù)雜性，即使增添時序引導(dǎo)項依舊難以生成靜態(tài)效果穩(wěn)定不動、動態(tài)效果自然流暢的動態(tài)特效字，靜態(tài)特效紋理會產(chǎn)生劇烈的閃爍、抖動，并且這種方法難以處理不滿足距離分布假設(shè)、逼真強烈的流體特效，難以提供正確的空間分布引導(dǎo)，導(dǎo)致風(fēng)格特效遷移不完整甚至失敗。

動畫風(fēng)格化技術(shù)通過輸入一張素材風(fēng)格圖、一段目標(biāo)動畫，利用傳統(tǒng)紋理合成或深度學(xué)習(xí)方法風(fēng)格化目標(biāo)動畫，使其帶有素材風(fēng)格圖的風(fēng)格特征。但是，這種方法無法實現(xiàn)將目標(biāo)文本圖變成目標(biāo)風(fēng)格動畫，當(dāng)輸入中不包含目標(biāo)動畫，只有一段素材動態(tài)特效字(包含其對應(yīng)的素材文本圖)和一張目標(biāo)文本圖時，現(xiàn)有動畫風(fēng)格化方法無法生成動態(tài)效果穩(wěn)定、流暢的動態(tài)特效字。

綜上，現(xiàn)有的風(fēng)格遷移技術(shù)存在著動態(tài)紋理閃爍、抖動等時序問題，以及復(fù)雜流體特效效果丟失、遷移不完整等外觀問題，在沒有目標(biāo)動畫輸入時無法生成動態(tài)效果穩(wěn)定、流暢的動態(tài)特效字。

發(fā)明內(nèi)容

針對目前現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種基于樣例的動態(tài)文本特效遷移方法，通過關(guān)鍵幀提取和時空相干項構(gòu)建解決了生成動畫中紋理閃爍、抖動的時序問題，通過引入距離權(quán)重圖和模擬退火的改進PatchMatch算法(圖像塊匹配算法)，解決了復(fù)雜流體特效效果丟失、遷移不完整的外觀問題。