[發明專利]歌唱嘴型與面部動畫生成方法、裝置及電子設備

在審

• 申請號: 202210710648.2
• 申請日: 2022-06-22
• 公開（公告）號: CN114972592A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 尹學淵;肖欽引;劉鑫忠;陳洪宇;馬思雨
• 申請（專利權）人: 成都潛在人工智能科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V40/16;G06V10/774
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 許立

本發明屬于音視頻同步技術領域，具體公開了歌唱嘴型與面部動畫生成方法、裝置及電子設備，其中方法包括步驟：將歌詞與音符序列輸入樂譜編碼器得到第一歌唱聲音參數特征向量序列；輸入音長預測器得到每個音素的預測時長；將第一歌唱聲音參數特征向量序列和每個音素的預測時長輸入長度調節器得到第二歌唱聲音參數特征向量序列；輸入解碼器得到音素信息序列；將音素信息序列輸入嘴型信息預測模型得到嘴型信息序列；生成包含嘴型信息對應的嘴型的人臉圖像；將人臉圖像作為關鍵幀生成面部動畫。本發明將歌曲的歌詞和音符序列作為歌唱嘴型與面部動畫生成所需的輸入信息，結合歌唱時能量大小對嘴型動畫的影響，保證嘴型更改與音素變化的時間序列對應。

技術領域

本發明屬于音視頻同步技術領域，具體而言，涉及歌唱嘴型與面部動畫生成方法、裝置及電子設備。

背景技術

隨著硬件與虛擬現實設備的快速發展，人們歌唱時的面部表情、唇部動作，甚至是頭部與肢體的動作都可以幫助觀眾欣賞和理解歌曲，視覺和聽覺的雙模態信息融合的交互方式，不僅能提高用戶對歌曲的理解度，還能提供一種更為準確的交互體驗，提高歌唱的藝術性和觀賞度。

歌唱嘴型與面部動畫生成技術是指通過從歌詞和音符序列中提取的音素、音符持續時間和音高等信息驅動、實時生成虛擬人歌唱嘴型和面部動畫的技術。除了能提供更友好的人機交互方式之外，該技術在感知研究、聲音輔助學習等方面具有重要應用價值，同時，能夠在游戲和電影特效等娛樂化方面降低作品制作成本。

現有的大部分口型同步都集中在虛擬人物聲音同步的口型動畫與面部姿勢動畫上，傳統的聲音生成嘴型和面部動畫的方法不能準確地模擬歌唱嘴型與歌曲的時間的對應關系，即歌唱時嘴型更改的時間序列與音素變化的時間序列存在不對應的問題，即嘴型更改的時間序列與音素變化的時間序列存在時間差。

發明內容

為了解決聲音生成歌唱嘴型與面部動畫同步效果差的問題，本發明提供歌唱嘴型與面部動畫生成方法、裝置及電子設備。

第一方面，本公開提供了歌唱嘴型與面部動畫生成方法，包括步驟：

將歌詞與音符序列輸入樂譜編碼器，得到第一歌唱聲音參數特征向量序列；

將所述第一歌唱聲音參數特征向量序列輸入音長預測器，得到每個音素的預測時長；

將所述第一歌唱聲音參數特征向量序列和每個音素的所述預測時長輸入長度調節器，得到時長擴充后的第二歌唱聲音參數特征向量序列；

將所述第二歌唱聲音參數特征向量序列輸入解碼器，得到音素信息序列；

將所述音素信息序列輸入預先訓練的嘴型信息預測模型，得到嘴型信息序列；

根據所述嘴型信息序列中的嘴型信息，生成包含所述嘴型信息對應的嘴型的人臉圖像；

將所述人臉圖像作為面部動畫的關鍵幀，利用所述關鍵幀生成面部動畫。

第二方面，本公開提供了歌唱嘴型與面部動畫生成裝置，包括編碼單元、音長預測單元、長度調節單元、解碼單元、嘴型信息預測單元、嘴型特征圖像生成單元、面部圖像生成單元與面部動畫生成單元；

所述編碼單元，用于將歌詞與音符序列輸入樂譜編碼器，得到第一歌唱聲音參數特征向量序列；

所述音長預測單元，用于將所述第一歌唱聲音參數特征向量序列輸入音長預測器，得到每個音素的預測時長；

所述長度調節單元，用于將所述第一歌唱聲音參數特征向量序列和每個音素的所述預測時長輸入長度調節器，得到時長擴充后的第二歌唱聲音參數特征向量序列；

所述解碼單元，用于將所述第二歌唱聲音參數特征向量序列輸入解碼器，得到音素信息序列；

所述嘴型信息預測單元，用于將所述音素信息序列輸入預先訓練的嘴型信息預測模型，得到嘴型信息序列；