[發明專利]基于視覺傳達的動畫中間畫智能生成方法及系統

有效

• 申請號: 202110664600.8
• 申請日: 2021-06-16
• 公開（公告）號: CN113393562B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 許碧薇;張瑩
• 申請（專利權）人: 黃淮學院
• 主分類號: G06T13/80
• 分類號: G06T13/80
• 代理公司: 鄭州芝麻知識產權代理事務所(普通合伙) 41173
• 代理人: 李瓊

1.一種基于視覺傳達的動畫中間畫智能生成方法，其特征在于，該方法包括：

利用軌目模板從軌目圖像中提取軌目信息點，根據軌目信息點的分布確定軌目信息點的頁標識、類別得到真值軌目信息；

將第一關鍵張、第二關鍵張、真值軌跡信息和真值軌目信息輸入中間畫雙向生成神經網絡，得到第一中間畫、第二中間畫；所述中間畫雙向生成神經網絡的損失通過以下方式衡量：對第一中間畫與第一關鍵張的相似度、第二中間畫與第二關鍵張的相似度、第一中間畫與第二中間畫的相似度求和得到第一損失；根據第一關鍵張、第一中間畫、第二中間畫、第二關鍵張中運動部件軌跡與真值軌跡的差異得到第二損失；根據目標中間畫與第一關鍵張、第二關鍵張的軌跡距離得到推理軌目信息，所述目標中間畫包括第一中間畫和/或第二中間畫，根據相同頁標識的真值軌目信息與推理軌目信息的差異得到第三損失；第一損失、第二損失、第三損失求和得到中間畫雙向生成神經網絡的損失。

2.根據權利要求1所述的一種基于視覺傳達的動畫中間畫智能生成方法，其特征在于，所述中間畫生成網絡能夠生成第一關鍵張、第二關鍵張之間所有的中間畫：

在神經網絡的基礎上添加滑窗機制，滑窗長度為2，步長為1；由第一關鍵張、第二關鍵張生成第一中間畫、第二中間畫，滑窗移動后滑窗內的兩幀圖像變更為第一關鍵張和第一中間畫、或第二關鍵張和第二中間畫，根據滑窗內圖像分別再次進行雙向預測，直至最終獲取所有符合軌目信息要求的中間畫。

3.根據權利要求1所述的一種基于視覺傳達的動畫中間畫智能生成方法，其特征在于，所述目標中間畫的確定方法為：

分別獲取第一中間畫、第二中間畫推理軌目信息與對應真值軌目信息的差異，若第一關鍵張、第二關鍵張之間中間畫為一張，則目標中間畫為第一中間畫、第二中間畫中對應差異較小的中間畫；

若第一關鍵張、第二關鍵張之間的中間畫為兩張，則目標中間畫為第一中間畫和第二中間畫。

4.根據權利要求1所述的一種基于視覺傳達的動畫中間畫智能生成方法，其特征在于，所述第一中間畫與第一關鍵張的相似度、第二中間畫與第二關鍵張的相似度、第一中間畫與第二中間畫的相似度分別對應第一權值、第二權值、第三權值；其中，第一權值、第二權值之和為定值，所述第一損失為相似度的加權之和；所述第一損失用于在中間畫雙向生成網絡訓練時進行動態監督：根據目標中間畫對第一權值或第二權值進行初始調節，然后再次生成中間畫，若第三損失減小，則按照初始調節方式對第一權值或第二權值進行調節。

5.根據權利要求4所述的一種基于視覺傳達的動畫中間畫智能生成方法，所述動態監督包括：若第一關鍵張、第二關鍵張之間中間畫為一張，則增大目標中間畫與對應關鍵張相似度對應的權值，根據再次迭代第三損失的變化情況，確定目標中間畫與對應關鍵張相似度對應的權值變化趨勢：若第三損失減小，則目標中間畫與對應關鍵張相似度的權值增大，否則減小目標中間畫與對應關鍵張相似度的權值；隨著生成中間畫次數不斷增加，第三權值增大。

6.根據權利要求4所述的一種基于視覺傳達的動畫中間畫智能生成方法，所述動態監督還包括：若第一關鍵張、第二關鍵張之間中間畫為兩張，初始則令第一權值減小，對應地增大第二權值，根據再次迭代第三損失的變化情況調整第一權值、第二權值：若所述第三損失減小，則第一權值減小，對應地增大第二權值；若所述第三損失增大，則第一權值增大，對應地減小第二權值；

當所述第一、第二權值穩定后，再進行第三權值的調整：初始先令第三權值減小，根據再次迭代第三損失變化情況調整第三權值：若所述第三損失減小，則第三權值減小；若所述第三損失增大，則第三權值增大。

7.根據權利要求1所述的一種基于視覺傳達的動畫中間畫智能生成方法，其特征在于，所述中間畫雙向生成神經網絡的損失為所述第一損失、第二損失、第三損失加權之和。