[發明專利]語音合成方法、裝置、存儲介質和電子設備

在審

• 申請號: 202010771100.X
• 申請日: 2020-08-03
• 公開（公告）號: CN111916050A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L25/30;G06F16/58;G06F16/583
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種語音合成方法，其特征在于，所述方法包括：

獲取待處理的目標圖像；

提取所述目標圖像的第一特征信息和所述目標圖像中至少一個目標物的第二特征信息，并根據所述第一特征信息和所述第二特征信息，生成所述目標圖像對應的描述信息；

根據所述描述信息進行語音合成，以得到所述目標圖像對應的音頻信息。

2.根據權利要求1所述的方法，其特征在于，所述提取所述目標圖像的第一特征信息和所述目標圖像中至少一個目標物的第二特征信息，并根據所述第一特征信息和所述第二特征信息，生成所述目標圖像對應的描述信息，包括：

將所述目標圖像輸入至描述信息生成模型，以通過描述信息生成模型提取所述目標圖像的第一特征信息和所述目標圖像中至少一個目標物的第二特征信息，并根據所述第一特征信息和所述第二特征信息，生成所述目標圖像對應的描述信息；其中，所述描述信息生成模型包括：

第一特征提取子模型，用于對所述目標圖像進行特征提取，以獲得所述第一特征信息；

第二特征提取子模型，用于對所述目標圖像進行圖像分割，以確定所述目標圖像中的至少一個目標物體，并將所述第二特征提取子模型中最后一個特征層中與所述目標物體對應的特征信息作為所述第二特征信息；

描述信息生成子模型，用于根據所述第一特征信息和所述第二特征信息獲得目標特征信息，并根據所述目標特征信息生成所述目標圖像對應的描述信息。

3.根據權利要求1所述的方法，其特征在于，所述根據所述描述信息進行語音合成，以得到所述目標圖像對應的音頻信息，包括：

對所述描述信息進行語義校正，以得到校正后的目標描述信息；

根據所述目標描述信息進行語音合成，以得到所述音頻信息。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述目標圖像對應的音樂信息；

所述根據所述描述信息進行語音合成，以得到所述目標圖像對應的音頻信息，包括：

根據所述描述信息和所述音樂信息進行語音合成，以得到所述目標圖像對應的音頻信息。

5.根據權利要求4所述的方法，其特征在于，所述獲取所述目標圖像對應的音樂信息，包括：

顯示音頻模板選擇界面，其中，所述音頻模板選擇界面中承載有多個備選音頻模板；

響應于用戶在所述音頻模板選擇界面中的選擇操作，將用戶選擇的音頻模板確定為目標音頻模板，并提取所述目標音頻模板中的伴奏信息和歌詞信息確定為所述音樂信息；

或者，所述獲取所述目標圖像對應的音樂信息，包括：

接收用戶輸入的樂譜數據；

對所述樂譜數據進行解析，將解析獲得的與所述樂譜數據對應的伴奏信息確定為所述音樂信息。

6.根據權利要求4或5所述的方法，其特征在于，所述方法還包括：

確定所述音頻信息中與所述目標物相關的音頻片段；

根據所述音頻片段，對所述目標物所在的圖像區域進行特效處理，以得到特效圖像；

根據所述音頻信息、所述目標圖像和所述特效圖像進行視頻合成，以獲得目標視頻，其中，在所述目標視頻中，所述音頻片段對應的圖像幀為所述特效圖像。

7.根據權利要求4或5所述的方法，其特征在于，所述根據所述描述信息和所述音樂信息進行語音合成，以得到所述目標圖像對應的音頻信息，包括：

根據所述音樂信息確定所述描述信息對應的語音聲學特征信息；

根據所述語音聲學特征信息進行語音合成，獲得語音波形數據；

將所述語音波形數據和根據所述音樂信息確定出的伴奏波形數據進行合成，獲得所述音頻信息。

8.根據權利要求2所述的方法，其特征在于，所述描述信息生成模型通過以下方式獲得：

獲取樣本圖像、與所述樣本圖像對應的目標文本信息和所述樣本圖像中的樣本物對應的目標分割信息，其中，所述目標分割信息用于表征所述樣本物在所述樣本圖像中的位置；

根據所述樣本圖像、所述目標文本信息和所述目標分割信息，對神經網絡模型進行訓練，以得到所述描述信息生成模型。