[發明專利]樣本生成、模型訓練、口型驅動方法、裝置、設備及介質

在審

• 申請號: 202110642755.1
• 申請日: 2021-06-09
• 公開（公告）號: CN113314145A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 陀得意;林哲;司季雨;韓欣彤;康世胤;劉峰;游于人;許佳
• 申請（專利權）人: 廣州虎牙信息科技有限公司
• 主分類號: G10L25/24
• 分類號: G10L25/24;G10L25/30;G10L25/87;G06F40/30;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種樣本生成、模型訓練、口型驅動方法、裝置、設備及介質。其中，方法包括：捕捉得到真實人物在講話過程中形成的語音片段和口型驅動參數序列；根據驅動結果，將口型驅動參數序列與語音片段進行時間對齊；識別語音片段中的各有效語音段的起止時間，并根據起止時間，在口型驅動參數序列中分別確定與各有效語音段分別對應的口型驅動參數子序列；根據與有效語音段對應的內容表征向量，以及與有效語音段對應的口型驅動參數子序列，形成用于訓練得到口型驅動參數識別模型的訓練樣本對。本發明實施例的方案，生成了用于訓練口型驅動參數識別模型的高質量樣本，為訓練得到高精度的口型驅動參數識別模型提供依據。

技術領域

本發明實施例涉及人工智能技術，尤其涉及一種樣本生成、模型訓練、口型驅動方法、裝置、設備及介質。

背景技術

隨著科學技術的不斷發展，人工智能在諸如直播、智能交通以及智慧醫療等領域得到了廣泛地發展及應用。

在人工智能領域中，訓練樣本的好壞直接影響訓練得到的網絡模型的精度；如何生成高精度的訓練樣本得到了業界的廣泛研究。

發明內容

本發明實施例提供一種樣本生成、模型訓練、口型驅動方法、裝置、設備及介質，以生成用于訓練口型驅動參數識別模型的樣本，為訓練得到高精度的口型驅動參數識別模型提供依據。

第一方面，本發明實施例提供了一種訓練樣本的生成方法，包括：

捕捉得到真實人物在講話過程中形成的語音片段和口型驅動參數序列；

使用口型驅動參數序列對虛擬人物進行連續口型驅動，并根據驅動結果，將所述口型驅動參數序列與所述語音片段進行時間對齊；

識別語音片段中的各有效語音段的起止時間，并根據起止時間，在口型驅動參數序列中分別確定與各有效語音段分別對應的口型驅動參數子序列；

根據與有效語音段對應的內容表征向量，以及與有效語音段對應的口型驅動參數子序列，形成用于訓練得到口型驅動參數識別模型的訓練樣本對。

第二方面，本發明實施例還提供了一種口型驅動參數識別模型訓練方法，包括：

將預先生成的多個訓練樣本對輸入至神經網絡模型中進行迭代訓練；

生成口型驅動參數識別模型；

其中，各所述訓練樣本對由本發明實施例中任一實施例所述的訓練樣本的生成方法生成。

第三方面，本發明實施例還提供了一種口型驅動方法，其特征在于，包括：

獲取待播報的非靜音語音片段，并確定與所述非靜音語音片段對應的內容表征向量；

將所述內容表征向量輸入至預先訓練的口型驅動參數識別模型中，得到與所述非靜音語音片段對應的目標口型序列；其中，所述口型驅動參數識別模型由本發明實施例中任一實施例所述的口型驅動參數識別模型訓練方法訓練得到；

響應于非靜音語音片段的播放指令，使用所述目標口型序列對虛擬人物進行連續口型驅動。

第四方面，本發明實施例還提供了一種訓練樣本的生成裝置，包括：

捕捉模塊，用于捕捉得到真實人物在講話過程中形成的語音片段和口型驅動參數序列；

對齊模塊，用于使用口型驅動參數序列對虛擬人物進行連續口型驅動，并根據驅動結果，將所述口型驅動參數序列與所述語音片段進行時間對齊；

識別模塊，用于識別語音片段中的各有效語音段的起止時間，并根據起止時間，在口型驅動參數序列中分別確定與各有效語音段分別對應的口型驅動參數子序列；