[發(fā)明專利]動畫合成方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202110925368.9
• 申請日: 2021-08-12
• 公開（公告）號: CN113706669B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設計）人: 楊少雄;趙晨
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種動畫合成方法，包括：

獲取待處理的音頻流以及音節(jié)序列，其中，所述音頻流和所述音節(jié)序列對應相同的文本；

對所述音頻流進行音素檢測，獲取所述音頻流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素類別以及對應的發(fā)音時間段；

根據所述音節(jié)序列、所述音素信息序列中的音素類別以及對應的發(fā)音時間段，確定所述音節(jié)序列中音節(jié)對應的發(fā)音時間段；

根據所述音節(jié)序列中所述音節(jié)對應的發(fā)音時間段以及所述音節(jié)對應的動畫幀序列，生成所述音頻流對應的動畫視頻；

所述對所述音頻流進行音素檢測，獲取所述音頻流的音素信息序列，包括：

對所述音頻流進行分段處理，得到多個音頻段；

對多個所述音頻段分別進行頻譜特征提取處理，得到多個頻譜特征段；

對多個所述頻譜特征段分別進行音素檢測，獲取多個所述音頻段的音素信息子序列；

根據多個所述音頻段在所述音頻流中的時間段信息，對多個所述音素信息子序列中的發(fā)音時間段進行調整，得到調整后的音素信息子序列；

對多個調整后的音素信息子序列進行合并處理，得到所述音素信息序列；

在對所述音頻流進行音素檢測，獲取所述音頻流的音素信息序列之后，所述方法還包括：

根據所述音節(jié)序列，以及音節(jié)與音素類別之間的對應關系，確定所述音素信息序列中是否存在待糾錯信息，其中，所述待糾錯信息包括：待替換音素信息以及對應的目標音素信息，和/或，待添加音素信息；

根據所述待糾錯信息，對所述音素信息序列進行糾錯處理；

所述根據所述音節(jié)序列中所述音節(jié)對應的發(fā)音時間段以及所述音節(jié)對應的動畫幀序列，生成所述音頻流對應的動畫視頻，包括：

按照所述音節(jié)對應的發(fā)音時間段的時長對所述音節(jié)對應的動畫幀序列進行插值處理，得到具有所述時長的處理后動畫幀序列；

針對所述音節(jié)序列中所述音節(jié)對應的處理后動畫幀序列中的尾部動畫幀，獲取第一相鄰音節(jié)對應的處理后動畫幀序列中的頭部動畫幀；根據所述頭部動畫幀的動畫系數對所述尾部動畫幀的動畫系數進行調整，得到所述音節(jié)對應的調整后動畫幀序列；其中，所述第一相鄰音節(jié)對應的發(fā)音時間段位于所述音節(jié)對應的發(fā)音時間段之后；

和/或，

針對所述音節(jié)序列中所述音節(jié)對應的處理后動畫幀序列中的頭部動畫幀，獲取第二相鄰音節(jié)對應的處理后動畫幀序列中的尾部動畫幀；根據所述尾部動畫幀的動畫系數對所述頭部動畫幀的動畫系數進行調整，得到所述音節(jié)對應的調整后動畫幀序列；其中，所述第二相鄰音節(jié)對應的發(fā)音時間段位于所述音節(jié)對應的發(fā)音時間段之前；

根據所述音節(jié)序列中所述音節(jié)對應的調整后動畫幀序列，生成所述動畫視頻。

2.根據權利要求1所述的方法，其中，所述根據所述音節(jié)序列、所述音素信息序列中的音素類別以及對應的發(fā)音時間段，確定所述音節(jié)序列中音節(jié)對應的發(fā)音時間段，包括：

根據所述音節(jié)序列，以及音節(jié)與音素類別之間的對應關系，確定所述音節(jié)序列中音節(jié)與所述音素信息序列中音素信息之間的對應關系；

根據與所述音節(jié)對應的音素信息中的發(fā)音時間段，確定所述音節(jié)對應的發(fā)音時間段。