[發明專利]一種漫畫動圖生成方法、裝置及存儲介質

有效

• 申請號: 201810872328.0
• 申請日: 2018-08-02
• 公開（公告）號: CN109087380B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 鐘宜峰;馬杰;趙璐;莫東松;張進
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06T13/80
• 分類號: G06T13/80;G06N3/0464
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

1.一種漫畫動圖生成方法，其特征在于，所述方法包括：

向卷積神經網絡模型中輸入第一圖像，所述第一圖像用于表征真實人臉，所述第一圖像至少包括所述真實人臉的表情信息；

接收所述卷積神經網絡模型輸出的與所述第一圖像對應的第二圖像，以及與所述真實人臉的表情對應的第一差異向量；

所述第二圖像用于表征漫畫人臉，所述漫畫人臉與所述真實人臉相對應，所述第二圖像至少包括所述漫畫人臉的表情信息，所述第一差異向量用于表征以所述漫畫人臉在所述第二圖像中的表情為表情起點的連續變化的表情對應的多幀圖像與其前一幀圖像之間的圖像差異；

基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫人臉連續變化表情的漫畫動圖。

2.根據權利要求1所述的方法，其特征在于，

所述第一差異向量的數量為至少兩個；

所述基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫人臉連續變化表情的漫畫動圖，包括：

基于所述第二圖像和所述第一差異向量，得到預設數量的圖像，其中，所述預設數量的圖像包含以所述漫畫人臉在所述第二圖像中的表情為表情起點的連續變化的表情；

基于所述第二圖像以及所述預設數量的圖像，生成漫畫動圖。

3.根據權利要求2所述的方法，其特征在于，所述第一差異向量是由所述卷積神經網絡模型基于輸入的前一幀圖像以及前一幀圖像對應的指定第一差異向量得到的，其中，所述前一幀圖像對應的指定第一差異向量用于表征所述前一幀圖像的后一幀圖像與所述前一幀圖像之間的圖像差異，所述前一幀圖像的后一幀圖像與所述前一幀圖像包含連續變化的表情。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述卷積神經網絡模型進行訓練；

其中，所述對所述卷積神經網絡模型進行訓練包括：

根據第三圖像以及第四圖像對所述卷積神經網絡模型進行第一階段的訓練，以實現根據包含真實人臉的圖像得到對應的包含漫畫人臉的圖像，其中，所述第三圖像為漫畫人臉圖像、所述第四圖像為真實人臉圖像；

根據第一媒體文件，對所述卷積神經網絡模型進行第二階段的訓練，以實現根據真實人臉的連續變化的表情，得到表征與所述真實人臉對應的漫畫人臉的連續表情變化的圖像之間的差異向量；其中，所述媒體文件包括真實人臉連續變化的表情，所述媒體文件至少包括動圖或視頻。

5.根據權利要求4所述的方法，其特征在于，所述根據第三圖像以及第四圖像對所述卷積神經網絡模型進行第一階段的訓練，包括：

基于所述第三圖像以及第四圖像，確定所述卷積神經網絡模型中的第一參數，其中，所述第一參數用于使所述卷積神經網絡模型基于輸入的包含真實人臉的圖像，輸出對應的包含漫畫人臉的圖像，以及基于輸入的包含漫畫人臉的圖像輸出對應的包含漫畫人臉的圖像。

6.根據權利要求5所述的方法，其特征在于，所述卷積神經網絡模型中的第一參數至少包括第一提取參數、第二提取參數，以及第三提取參數，其中，所述第一提取參數用于使所述卷積神經網絡模型對所述第三圖像的圖像特征和所述第四圖像的圖像特征的第一提取結果進行調整；所述第二提取參數用于使所述卷積神經網絡模型對所述媒體文件中的連續兩幀圖像對應的圖像特征點差值的第二提取結果進行調整；所述第三提取參數用于使所述卷積神經網絡模型對目標特征的第三提取結果進行調整，所述目標特征為基于所述第一提取結果和所述第二提取結果確定的特征。

7.根據權利要求4所述的方法，其特征在于，所述根據采集的媒體文件，對所述卷積神經網絡模型進行第二階段的訓練，包括：

基于所述采集的媒體文件，確定所述卷積神經網絡模型中的第二參數，其中，所述第二參數用于使所述卷積神經網絡模型基于輸入的包含真實人臉的連續變化表情的媒體文件輸出最小的對應差異偏差值，所述對應差異偏差值為所述媒體文件中包含所述真實人臉的連續變化表情的圖像之間的圖像特征點差值，與包含漫畫人臉的連續變化表情的圖像之間的圖像特征點差值之間的偏差值，所述漫畫人臉與所述真實人臉相對應。