[發(fā)明專利]一種漫畫(huà)動(dòng)圖生成方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810872328.0
• 申請(qǐng)日: 2018-08-02
• 公開(kāi)（公告）號(hào): CN109087380B
• 公開(kāi)（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 鐘宜峰;馬杰;趙璐;莫東松;張進(jìn)
• 申請(qǐng)（專利權(quán)）人: 咪咕文化科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06T13/80
• 分類號(hào): G06T13/80;G06N3/0464
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

1.一種漫畫(huà)動(dòng)圖生成方法，其特征在于，所述方法包括：

向卷積神經(jīng)網(wǎng)絡(luò)模型中輸入第一圖像，所述第一圖像用于表征真實(shí)人臉，所述第一圖像至少包括所述真實(shí)人臉的表情信息；

接收所述卷積神經(jīng)網(wǎng)絡(luò)模型輸出的與所述第一圖像對(duì)應(yīng)的第二圖像，以及與所述真實(shí)人臉的表情對(duì)應(yīng)的第一差異向量；

所述第二圖像用于表征漫畫(huà)人臉，所述漫畫(huà)人臉與所述真實(shí)人臉相對(duì)應(yīng)，所述第二圖像至少包括所述漫畫(huà)人臉的表情信息，所述第一差異向量用于表征以所述漫畫(huà)人臉在所述第二圖像中的表情為表情起點(diǎn)的連續(xù)變化的表情對(duì)應(yīng)的多幀圖像與其前一幀圖像之間的圖像差異；

基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫(huà)人臉連續(xù)變化表情的漫畫(huà)動(dòng)圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述第一差異向量的數(shù)量為至少兩個(gè)；

所述基于所述第二圖像和所述第一差異向量，生成以所述第二圖像為起始幀的包括所述漫畫(huà)人臉連續(xù)變化表情的漫畫(huà)動(dòng)圖，包括：

基于所述第二圖像和所述第一差異向量，得到預(yù)設(shè)數(shù)量的圖像，其中，所述預(yù)設(shè)數(shù)量的圖像包含以所述漫畫(huà)人臉在所述第二圖像中的表情為表情起點(diǎn)的連續(xù)變化的表情；

基于所述第二圖像以及所述預(yù)設(shè)數(shù)量的圖像，生成漫畫(huà)動(dòng)圖。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一差異向量是由所述卷積神經(jīng)網(wǎng)絡(luò)模型基于輸入的前一幀圖像以及前一幀圖像對(duì)應(yīng)的指定第一差異向量得到的，其中，所述前一幀圖像對(duì)應(yīng)的指定第一差異向量用于表征所述前一幀圖像的后一幀圖像與所述前一幀圖像之間的圖像差異，所述前一幀圖像的后一幀圖像與所述前一幀圖像包含連續(xù)變化的表情。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

其中，所述對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練包括：

根據(jù)第三圖像以及第四圖像對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第一階段的訓(xùn)練，以實(shí)現(xiàn)根據(jù)包含真實(shí)人臉的圖像得到對(duì)應(yīng)的包含漫畫(huà)人臉的圖像，其中，所述第三圖像為漫畫(huà)人臉圖像、所述第四圖像為真實(shí)人臉圖像；

根據(jù)第一媒體文件，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第二階段的訓(xùn)練，以實(shí)現(xiàn)根據(jù)真實(shí)人臉的連續(xù)變化的表情，得到表征與所述真實(shí)人臉對(duì)應(yīng)的漫畫(huà)人臉的連續(xù)表情變化的圖像之間的差異向量；其中，所述媒體文件包括真實(shí)人臉連續(xù)變化的表情，所述媒體文件至少包括動(dòng)圖或視頻。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)第三圖像以及第四圖像對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第一階段的訓(xùn)練，包括：

基于所述第三圖像以及第四圖像，確定所述卷積神經(jīng)網(wǎng)絡(luò)模型中的第一參數(shù)，其中，所述第一參數(shù)用于使所述卷積神經(jīng)網(wǎng)絡(luò)模型基于輸入的包含真實(shí)人臉的圖像，輸出對(duì)應(yīng)的包含漫畫(huà)人臉的圖像，以及基于輸入的包含漫畫(huà)人臉的圖像輸出對(duì)應(yīng)的包含漫畫(huà)人臉的圖像。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)模型中的第一參數(shù)至少包括第一提取參數(shù)、第二提取參數(shù)，以及第三提取參數(shù)，其中，所述第一提取參數(shù)用于使所述卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述第三圖像的圖像特征和所述第四圖像的圖像特征的第一提取結(jié)果進(jìn)行調(diào)整；所述第二提取參數(shù)用于使所述卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述媒體文件中的連續(xù)兩幀圖像對(duì)應(yīng)的圖像特征點(diǎn)差值的第二提取結(jié)果進(jìn)行調(diào)整；所述第三提取參數(shù)用于使所述卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)特征的第三提取結(jié)果進(jìn)行調(diào)整，所述目標(biāo)特征為基于所述第一提取結(jié)果和所述第二提取結(jié)果確定的特征。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)采集的媒體文件，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第二階段的訓(xùn)練，包括：

基于所述采集的媒體文件，確定所述卷積神經(jīng)網(wǎng)絡(luò)模型中的第二參數(shù)，其中，所述第二參數(shù)用于使所述卷積神經(jīng)網(wǎng)絡(luò)模型基于輸入的包含真實(shí)人臉的連續(xù)變化表情的媒體文件輸出最小的對(duì)應(yīng)差異偏差值，所述對(duì)應(yīng)差異偏差值為所述媒體文件中包含所述真實(shí)人臉的連續(xù)變化表情的圖像之間的圖像特征點(diǎn)差值，與包含漫畫(huà)人臉的連續(xù)變化表情的圖像之間的圖像特征點(diǎn)差值之間的偏差值，所述漫畫(huà)人臉與所述真實(shí)人臉相對(duì)應(yīng)。