[發明專利]一種基于樣例的動態文本特效的自動遷移方法

有效

• 申請號: 201810796815.3
• 申請日: 2018-07-19
• 公開（公告）號: CN110738715B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 連宙輝;門怡芳;唐英敏;肖建國
• 申請（專利權）人: 北京大學
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T3/00
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種動態文本特效的自動遷移方法，其特征是：

輸入包含素材文本圖、素材動態特效字或素材風格動畫和目標文本圖的一組樣例；所述素材風格動畫包括多幀素材風格圖，素材風格動畫中文字的位置、大小始終不變，施加在文字上的動態風格自由變化；所述素材文本圖是素材風格動畫中文字的語義遮罩，兩者內容對齊；目標文本圖中包含需要進行風格化的文本內容；

依據素材風格動畫中的動態風格及目標文本圖中的文本內容，通過關鍵幀提取、時空相干性構建、基于改進PatchMatch的紋理合成的方法，使得素材風格動畫中的文本特效充分遷移到目標文本中，保持整體及細節的紋理風格，自動生成動態效果生動逼真、自然流暢的目標動態特效字/目標風格動畫；目標風格動畫由多幀目標風格圖構成；

包括如下步驟：

A.輸入一組樣例，包含素材文本圖、素材動態特效字和目標文本圖，素材動態特效字即素材風格動畫；

B.提取素材風格動畫中的關鍵幀：

對素材風格動畫中的每幀素材風格圖提取特效粒子，通過逐幀計算特效粒子的新生、消亡數目并繪制生存狀態發生變化的粒子數目隨幀序號變化的折線圖，提取滿足最小間隔的峰值對應的幀序號作為特效形態差異變化較大的幀，定義為關鍵幀；具體取折線圖上β個由高到低排列的峰值，且保證兩兩峰值對應的橫軸間隔大于θ，將這些峰值對應的幀序號作為關鍵幀序號；β為關鍵幀數目；θ為各關鍵幀的幀序號之間的最小間隔；

對每一幅素材風格動畫提取得到多個關鍵幀；每個關鍵幀對應一幅素材風格圖；

C.構建時空相干項，通過計算各個關鍵幀上對應的素材風格圖與目標風格圖的圖像塊在RGB空間上的L2距離，再將各關鍵幀上對應的素材風格圖與目標風格圖的圖像塊之間的距離相加，得到時空塊之間的距離，即時空相干項；

D.建立目標函數，目標函數由步驟C得到的時空相干項和文本引導項構成；文本引導項通過計算素材文本圖的圖像塊與目標文本圖的圖像塊在RGB空間上的L2范式得到；

E.利用改進的PatchMatch算法對素材風格動畫的素材時空塊和目標風格動畫的目標時空塊之間進行最近鄰匹配，得到匹配關系，將匹配關系施加到相應的素材風格圖上，得到目標風格動畫；所述時空塊由關鍵幀上的圖像塊構成；

所述改進包括如下操作：

E1.采用PatchMatch算法利用最大期望值算法迭代優化目標函數，交替執行最近鄰搜索操作和目標風格圖重建操作，直至收斂；

E2.最近鄰搜索包括隨機搜索和方向引導的深度傳播兩個步驟；隨機搜索采用過隨機匹配的方式嘗試是否能得到更優的匹配關系；方向引導的深度傳播通過引入權重地圖和模擬退火算法實現有方向引導的、深度的傳播過程；

E21.基于權重地圖的方向引導的傳播方法，首先計算目標文本圖中每個像素點到文本邊緣輪廓的最近距離，生成距離圖；依據該距離圖，得到目標文本圖的每個圖像塊中各個像素點的權重值，記為權重地圖；在權重地圖中，通過控制各像素點在計算圖像塊的相似性時的權重及目標風格圖重建時各像素點的權重，引導紋理從文本輪廓邊緣向四周合成；

E22.基于模擬退火算法的深度傳播方法，執行如下操作：

首先設置初始溫度、終止溫度，并初始化最近鄰匹配結果；

進行PatchMatch的鄰域傳播：計算候選解對應的目標方程值，若該值小于當前解下的目標方程值，則采用候選解替換當前解，當前解更新；否則計算接受概率，以接受概率接受該候選解；接受概率隨著溫度下降而降低，溫度隨迭代次數的增多而下降；

通過上述動態概率接受的方式，使得初始迭代中更易接受新解，使得紋理進行深度傳播；

E3.目標風格圖重建：依據素材風格圖和目標風格圖中像素點的對應匹配結果進行目標風格圖重建，目標風格圖中每個像素點的RGB值為所有覆蓋該像素點的圖像塊對應的最優匹配塊在該點的加權平均值，權重值由所述權重地圖得到。