[發明專利]一種說話視頻的處理方法及裝置、設備和存儲介質

有效

• 申請號: 201810601813.4
• 申請日: 2018-06-12
• 公開（公告）號: CN108962216B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 周航;劉宇;劉子緯;羅平;王曉剛
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L17/04;G10L17/18;H04N5/265;G06K9/62
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 黃娟;張穎玲

1.一種說話視頻的處理方法，其特征在于，所述方法包括：

獲取包含圖像的第一文件和包含音頻的第二文件；

將所述第一文件和所述第二文件輸入經過訓練得到的說話視頻合成模型，得到合成的說話視頻，其中，所述說話視頻合成模型包括對訓練樣本解離語音信息得到的解離后的身份子空間和對所述訓練樣本解離人物身份信息得到的解離后的話語子空間；

輸出所述合成的說話視頻；

其中，所述將所述第一文件和所述第二文件輸入經過訓練得到的說話視頻合成模型，得到合成的說話視頻，包括：

對所述第一文件和所述第二文件進行解離，得到解離后的話語子空間和解離后的身份子空間，從解離后的話語子空間中和解離后的身份子空間中各取一個特征向量并連接，采用解碼器解碼成所述說話視頻的一幀。

2.根據權利要求1所述的方法，其特征在于，其中，所述第一文件至少包括以下一種：圖像、視頻；所述第二文件至少包括以下一種：音頻、有聲視頻。

3.根據權利要求1所述的方法，其特征在于，所述說話視頻合成模型的訓練過程，包括：

獲取圖像與音頻匹配的訓練樣本；

確定所述訓練樣本的身份子空間和所述訓練樣本的話語子空間；

確定所述訓練樣本中每一幀的話語特征、人臉身份特征和音頻特征；

利用所述音頻特征和所述話語特征對所述訓練樣本的身份子空間解離語音信息，得到所述解離后的身份子空間；

利用人臉身份特征對所述訓練樣本的話語子空間解離人物身份信息，得到所述解離后的話語子空間。

4.根據權利要求3所述的方法，其特征在于，所述確定所述訓練樣本中每一幀的話語特征、人臉身份特征和音頻特征，包括：

針對所述訓練樣本的每一幀；

將幀圖像編碼到所述訓練樣本的身份子空間，得到人臉身份特征向量；

將所述幀圖像編碼到所述訓練樣本的話語子空間，得到話語特征向量；

將所述幀圖像對應的語音信息，編碼到所述訓練樣本的話語子空間，得到音頻特征向量。

5.根據權利要求4所述的方法，其特征在于，所述利用所述音頻特征和所述話語特征對所述訓練樣本的身份子空間解離語音信息，得到所述解離后的身份子空間，包括：通過鑒別器利用所述音頻特征向量與所述話語特征向量從所述訓練樣本的身份子空間中去除語音信息，得到所述解離后的身份子空間；

所述利用人臉身份特征對所述訓練樣本的話語子空間解離人物身份信息，得到所述解離后的話語子空間，包括：通過鑒別器利用所述人臉身份特征向量從所述訓練樣本的話語子空間中去除人物身份信息，得到所述解離后的話語子空間。

6.根據權利要求4所述的方法，其特征在于，在所述確定所述訓練樣本中每一幀的話語特征、人臉身份特征和音頻特征之后，所述方法還包括：

將所述訓練樣本的話語子空間中的所述音頻特征向量與所述話語特征向量映射到預設位置。

7.根據權利要求6所述的方法，其特征在于，所述將所述訓練樣本的話語子空間中的所述音頻特征向量與所述話語特征向量映射到預設位置，包括：

利用同一個第一分類器將所述音頻特征向量和所述話語特征向量映射到預設空間；

將處于所述預設空間中的所述音頻特征向量和處于所述預設空間中的所述話語特征向量映射到所述預設空間中的預設位置。

8.根據權利要求3所述的方法，其特征在于，所述確定所述訓練樣本的身份子空間和所述訓練樣本的話語子空間，包括：

根據所述訓練樣本中包含的人物身份信息，確定所述訓練樣本的人物身份標簽；

根據所述訓練樣本中包含的語音信息，確定所述訓練樣本的唇語識別標簽；

根據獲取的所述訓練樣本的人物身份標簽訓練所述訓練樣本的身份子空間；其中，所述人物身份標簽用于識別所述人物身份信息中人物的身份；

根據獲取的所述訓練樣本的唇語識別標簽訓練所述訓練樣本的話語子空間；其中，所述唇語識別標簽用于識別所述語音信息對應的唇部運動。