[發明專利]一種漫畫動圖生成方法、裝置及存儲介質

有效

• 申請號: 201810872328.0
• 申請日: 2018-08-02
• 公開（公告）號: CN109087380B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 鐘宜峰;馬杰;趙璐;莫東松;張進
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06T13/80
• 分類號: G06T13/80;G06N3/0464
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

本發明公開了一種漫畫動圖生成方法，包括：向卷積神經網絡模型中輸入第一圖像，第一圖像用于表征真實人臉，第一圖像至少包括真實人臉的表情信息；接收卷積神經網絡模型輸出的與第一圖像對應的第二圖像，以及與真實人臉的表情對應的第一差異向量；第二圖像用于表征漫畫人臉，漫畫人臉與真實人臉相對應，第二圖像至少包括漫畫人臉的表情信息，第一差異向量用于表征以漫畫人臉在第二圖像中的表情為表情起點的連續變化的表情對應的多幀圖像與其前一幀圖像之間的圖像差異；基于第二圖像和第一差異向量，生成以第二圖像為起始幀的包括漫畫人臉連續變化表情的漫畫動圖。本發明還公開了一種漫畫動圖生成裝置和存儲介質。

技術領域

本發明涉及圖像生成技術，尤其涉及一種漫畫動圖生成方法、裝置及存儲介質。

背景技術

現有技術在對圖像的轉換處理的過程中，僅能根據單一的真實圖像生成相應的單一漫畫，缺乏生成漫畫動圖的有效手段，同時，在由真實圖像生成相應漫畫的過程中缺乏對真實圖像變化的預測。

發明內容

本發明實施例提供一種漫畫動圖生成方法及裝置，能夠通過用戶所輸入的表征真實人臉的圖像生成包括漫畫人臉連續變化表情的漫畫動圖。

本發明實施例的技術方案是這樣實現的：

本發明是實施例提供了一種漫畫動圖生成方法，所述方法包括：

向卷積神經網絡模型中輸入第一圖像，所述第一圖像用于表征真實人臉，所述第一圖像至少包括所述真實人臉的表情信息；

接收所述卷積神經網絡模型輸出的與所述第一圖像對應的第二圖像，以及與所述真實人臉的表情對應的第一差異向量；

所述第二圖像用于表征漫畫人臉，所述漫畫人臉與所述真實人臉相對應，所述第二圖像至少包括所述漫畫人臉的表情信息，所述第一差異向量用于表征以所述漫畫人臉在所述第二圖像中的表情為表情起點的連續變化的表情對應的多幀圖像與其前一幀圖像之間的圖像差異；

基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫人臉連續變化表情的漫畫動圖。

上述方案中，

所述第一差異向量的數量為至少兩個；

所述基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫人臉連續變化表情的漫畫動圖，包括：

基于所述第二圖像和所述第一差異向量，得到預設數量的圖像，其中，所述預設數量的圖像包含以所述漫畫人臉在所述第二圖像中的表情為表情起點的連續變化的表情；

基于所述第二圖像以及所述預設數量的圖像，生成漫畫動圖。

上述方案中，

所述第一差異向量是由所述卷積神經網絡模型基于輸入的前一幀圖像以及前一幀圖像對應的指定第一差異向量得到的，其中，所述前一幀圖像對應的指定第一差異向量用于表征所述前一幀圖像的后一幀圖像與所述前一幀圖像之間的圖像差異，所述前一幀圖像的后一幀圖像與所述前一幀圖像包含連續變化的表情。

上述方案中，

所述方法還包括：

對所述卷積神經網絡模型進行訓練；

其中，所述對所述卷積神經網絡模型進行訓練包括：

根據第三圖像以及第四圖像對所述卷積神經網絡模型進行第一階段的訓練，以實現根據包含真實人臉的圖像得到對應的包含漫畫人臉的圖像，其中，所述第三圖像為漫畫人臉圖像、所述第四圖像為真實人臉圖像；