[發明專利]音色模板定制方法及其裝置、設備、介質、產品

有效

• 申請號: 202111092287.1
• 申請日: 2021-09-17
• 公開（公告）號: CN113744759B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 黃杰雄
• 申請（專利權）人: 廣州酷狗計算機科技有限公司
• 主分類號: G10L25/24
• 分類號: G10L25/24;G10L17/00;G10L17/06;G10L25/30
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

1.一種音色模板定制方法，其特征在于，包括如下步驟：

獲取音頻采樣數據，對所述音頻采樣數據進行音源分離獲得人聲部分相對應的音頻數據，從該音頻數據中提取出人聲發音部分相對應的梅爾頻譜信息；

調用預訓練至收斂狀態的音色提取模型從所述梅爾頻譜信息中提取出表征該音頻采樣數據的音源對象的音色的向量矩陣集，該向量矩陣集包括時域上的多個向量矩陣；其中，調用所述音色提取模型中的殘差卷積網絡對所述梅爾頻譜信息進行表示學習以獲得音頻紋理特征信息，然后調用所述音色提取模型中的遞歸神經網絡整理所述音頻紋理特征信息得到綜合了所述音頻紋理特征信息在時域上的相關性信息的多個向量矩陣；

求取所述向量矩陣集中多個向量矩陣之間的均值向量矩陣作為該音源對象的聲紋特征信息；

生成所述音源對象相對應的音色模板，所述音色模板包括音源對象的命名標識及由該命名標識所指向的所述聲紋特征信息，所述聲紋特征信息相對應的均值向量矩陣適于與音高特征信息、音素特征信息、音序特征信息相對應的向量矩陣相拼接合成為歌曲，以表現出所述音色模板相對應的音源對象的音色。

2.根據權利要求1所述的音色模板定制方法，其特征在于，所述音色提取模型的預訓練過程包括如下步驟：

調用所述音色提取模型從訓練樣本的梅爾頻譜信息中提取出表征該訓練樣本的音源對象的音色的向量矩陣，對所述向量矩陣進行全連接，獲得全連接后的綜合向量矩陣，所述綜合向量矩陣包括時域上的多個向量矩陣，每個訓練樣本包含單個音源對象的歌曲清唱發聲數據；

調用預設分類模型對所述綜合向量矩陣進行分類，以所述訓練樣本相對應的監督標簽對分類結果進行監督，根據監督結果反向傳播修正所述音色提取模型的權重參數；

循環迭代實施對所述音色提取模型的訓練，直至所述分類模型的交叉熵損失函數達到收斂狀態。

3.根據權利要求1所述的音色模板定制方法，其特征在于，對所述音頻采樣數據進行音源分離獲得人聲部分相對應的音頻數據，從該音頻數據中提取出人聲發音部分相對應的梅爾頻譜信息，包括如下步驟：

向客戶端中的用戶推送采樣模板信息；

獲取所述客戶端提交的音頻采樣數據，所述音頻采樣數據包含音源對象朗讀或演唱所述音頻模板信息而生成的音頻數據；

對所述音頻采樣數據實施音源分離，提取出該音頻采樣數據中人聲部分相對應的音頻數據；

從所述人聲部分相對應的音頻數據中提取出梅爾頻譜信息。

4.根據權利要求1所述的音色模板定制方法，其特征在于，調用預訓練至收斂狀態的音色提取模型從所述梅爾頻譜信息中提取出表征該音頻采樣數據的音源對象的音色的向量矩陣集的步驟包括：

沿時域從所述梅爾頻譜信息中提取出表征所述音頻采樣數據的音源對象的音色的多個向量矩陣；

將所述多個向量矩陣進行全連接，獲得全連接后的綜合向量矩陣，所述綜合向量矩陣包括時域上的多個向量矩陣；

從所述綜合向量矩陣中選取時域上最后且連續的若干個向量矩陣，將其構造為所述的向量矩陣集，每個向量矩陣集包含時域上的多個向量矩陣，每個向量矩陣包含多個表征音色的向量。

5.根據權利要求1所述的音色模板定制方法，其特征在于，求取所述向量矩陣集中多個向量矩陣之間的均值向量矩陣的步驟中，根據時域同步關系對所述向量矩陣集中的多個向量矩陣進行向量相加后求均值，以形成所述的均值向量矩陣。

6.根據權利要求1所述的音色模板定制方法，其特征在于，生成所述音源對象相對應的音色模板，包括如下步驟：

獲取所述音源對象相對應的均值向量矩陣；

獲取所述音源對象的命名標識；

將所述命名標識與所述均值向量矩陣關聯存儲為所述的音色模板，添加至提交所述音頻采樣數據的用戶的賬戶信息庫中。

7.一種計算機設備，包括中央處理器和存儲器，其特征在于，所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行如權利要求1至6中任意一項所述的方法的步驟。

8.一種計算機可讀存儲介質，其特征在于，其以計算機可讀指令的形式存儲有依據權利要求1至6中任意一項所述的方法所實現的計算機程序，該計算機程序被計算機調用運行時，執行相應的方法所包括的步驟。