[發明專利]歌曲多媒體的合成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011164612.6
• 申請日: 2020-10-27
• 公開（公告）號: CN112331234A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 吳思遠;李超;孫晨曦
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G11B27/031
• 分類號: G11B27/031
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種歌曲多媒體的合成方法，包括：

響應于歌曲多媒體合成請求，顯示素材獲取模式；

獲取用戶通過所選擇的素材獲取模式提供的用戶音頻；

將所述用戶音頻輸入音色提取模型，以得到所述音色提取模型輸出的用戶音色；

獲取用戶通過所選擇的素材獲取模式提供的待合成的歌詞以及待合成的曲譜，并將所述用戶音色、所述待合成的歌詞以及所述待合成的曲譜輸入歌曲合成模型，以得到合成后的歌曲多媒體。

2.根據權利要求1所述的方法，其中，所述素材獲取模式包括：音色素材獲取模式；所述音色素材獲取模式包括：用戶音頻錄入接口，和/或，用戶音頻上傳接口；

所述獲取用戶通過所選擇的素材獲取模式提供的用戶音頻，包括：

在檢測到用戶對用戶音頻錄入接口的選擇指令時，控制音頻錄入設備采集用戶音頻；或者，

在檢測到用戶對用戶音頻上傳接口的選擇指令時，獲取上傳的用戶音頻。

3.根據權利要求2所述的方法，其中，所述音色素材獲取模式還包括以下模式中的任意一個或者多個：用戶音色上傳接口、指定音色列表、歷史音色列表、分享音色列表；其中，歷史音色列表包括歷史時間段內上傳或者提取的用戶音色，所述分享音色列表包括歷史時間段內分享的用戶音色；

所述的方法，還包括：

在檢測到用戶對用戶音色上傳接口、指定音色列表、歷史音色列表、或者分享音色列表的選擇指令時，獲取上傳或者選擇的用戶音色。

4.根據權利要求1所述的方法，其中，所述素材獲取模式還包括：歌詞素材獲取模式；

所述歌詞素材獲取模式包括以下模式中的任意一個或者多個：歌詞上傳接口、指定歌詞列表、歷史歌詞列表、分享歌詞列表；

所述待合成的歌詞的獲取方式為，在檢測到用戶對所述歌詞上傳接口、所述指定歌詞列表、所述歷史歌詞列表、或者所述分享歌詞列表的選擇指令時，獲取用戶上傳或者選擇的歌詞。

5.根據權利要求1所述的方法，其中，所述素材獲取模式還包括：曲譜素材獲取模式；

所述曲譜素材獲取模式包括以下模式中的任意一個或者多個：曲譜上傳接口、指定曲譜列表、歷史曲譜列表、分享曲譜列表；

所述待合成的曲譜的獲取方式為，在檢測到用戶對所述曲譜上傳接口、所述指定曲譜列表、所述歷史曲譜列表、或者所述分享曲譜列表的選擇指令時，獲取用戶上傳或者選擇的曲譜。

6.根據權利要求1所述的方法，其中，所述將所述用戶音頻輸入音色提取模型，以得到所述音色提取模型輸出的用戶音色之前，還包括：

獲取初始的聯合模型，其中，所述聯合模型包括：依次連接的音色提取模型和歌曲合成模型；

獲取訓練數據，其中，所述訓練數據包括：用戶音頻樣本、歌詞樣本、曲譜樣本、以及對應的歌曲多媒體樣本；

采用所述訓練數據對所述初始的聯合模型進行訓練，得到訓練好的聯合模型；

獲取所述訓練好的聯合模型中的音色提取模型以及歌曲合成模型。

7.根據權利要求1所述的方法，其中，還包括：

獲取待合成的音樂資源，其中，所述音樂資源包括：背景音樂和/或音效；

根據所述合成后的歌曲多媒體、所述背景音樂和/或音效，生成帶有背景音樂和/或音效的歌曲多媒體。

8.根據權利要求1所述的方法，其中，還包括：

獲取待合成的音樂資源以及視頻資源；

根據所述合成后的歌曲多媒體、所述音樂資源以及所述視頻資源，生成帶有音樂資源以及視頻資源的歌曲多媒體。