[發(fā)明專利]動畫合成方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110925368.9
• 申請日: 2021-08-12
• 公開（公告）號: CN113706669B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 楊少雄;趙晨
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張夢瑤

本公開提供了動畫合成方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，尤其涉及自然語言處理、語音技術(shù)、計算機視覺和虛擬/增強現(xiàn)實技術(shù)領(lǐng)域。具體實現(xiàn)方案為：獲取待處理的音頻流以及音節(jié)序列；對音頻流進行音素檢測，獲取音頻流的音素信息序列，其中，音素信息序列中的音素信息包括：音素類別以及對應(yīng)的發(fā)音時間段；根據(jù)音節(jié)序列、音素信息序列中的音素類別以及對應(yīng)的發(fā)音時間段，確定音節(jié)序列中音節(jié)對應(yīng)的發(fā)音時間段；根據(jù)音節(jié)序列中音節(jié)對應(yīng)的發(fā)音時間段以及音節(jié)對應(yīng)的動畫幀序列，生成音頻流對應(yīng)的動畫視頻。由此，可使動畫視頻和音頻流具有很強的一致性，不存在幀間抖動問題，進而提高了動畫視頻的真實性和泛化能力。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，尤其涉及自然語言處理、語音技術(shù)、計算機視覺和虛擬/增強現(xiàn)實技術(shù)領(lǐng)域，具體涉及動畫合成方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，隨著計算機動畫技術(shù)的不斷進步，音頻驅(qū)動的虛擬形象人臉表情動畫得到了發(fā)展，其中，虛擬形象人臉表情動畫，即輸入音頻生成與音頻流相符的虛擬主播人臉表情動畫。

發(fā)明內(nèi)容

本公開提供了一種用于動畫合成方法、裝置、電子設(shè)備及存儲介質(zhì)。

根據(jù)本公開的一方面，提供了一種動畫合成方法，包括：獲取待處理的音頻流以及音節(jié)序列，其中，所述音頻流和所述音節(jié)序列對應(yīng)相同的文本；對所述音頻流進行音素檢測，獲取所述音頻流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素類別以及對應(yīng)的發(fā)音時間段；根據(jù)所述音節(jié)序列、所述音素信息序列中的音素類別以及對應(yīng)的發(fā)音時間段，確定所述音節(jié)序列中音節(jié)對應(yīng)的發(fā)音時間段；根據(jù)所述音節(jié)序列中所述音節(jié)對應(yīng)的發(fā)音時間段以及所述音節(jié)對應(yīng)的動畫幀序列，生成所述音頻流對應(yīng)的動畫視頻。

根據(jù)本公開的另一方面，提供了一種動畫合成裝置，包括：獲取模塊，用于獲取待處理的音頻流以及音節(jié)序列，其中，所述音頻流和所述音節(jié)序列對應(yīng)相同的文本；檢測模塊，用于對所述音頻流進行音素檢測，獲取所述音頻流的音素信息序列，其中，所述音素信息序列中的音素信息包括：音素類別以及對應(yīng)的發(fā)音時間段；第一確定模塊，用于根據(jù)所述音節(jié)序列、所述音素信息序列中的音素類別以及對應(yīng)的發(fā)音時間段，確定所述音節(jié)序列中音節(jié)對應(yīng)的發(fā)音時間段；生成模塊，用于根據(jù)所述音節(jié)序列中音節(jié)對應(yīng)的發(fā)音時間段以及所述音節(jié)對應(yīng)的動畫幀序列，生成所述音頻流對應(yīng)的動畫視頻。

根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本公開第一方面實施例所述的方法。

根據(jù)本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其中，所述計算機指令用于使所述計算機執(zhí)行本公開第一方面實施例所述的方法。

根據(jù)本公開的另一方面，提供了一種計算機程序產(chǎn)品，所述計算機程序在被處理器執(zhí)行時實現(xiàn)本公開第一方面實施例所述的方法。

應(yīng)當理解，本部分所描述的內(nèi)容并非旨在標識本公開的實施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對本公開的限定。其中：

圖1是根據(jù)本公開第一實施例的示意圖；

圖2是根據(jù)本公開第二實施例的示意圖；

圖3是根據(jù)本公開第三實施例的示意圖；

圖4是根據(jù)本公開第四實施例示意圖；

圖5是根據(jù)本公開第五實施例的示意圖；

圖6是根據(jù)本公開第六實施例的示意圖；

圖7是根據(jù)本公開實施例的動畫合成流程示意圖；