[發明專利]音色模板定制方法及其裝置、設備、介質、產品

有效

• 申請號: 202111092287.1
• 申請日: 2021-09-17
• 公開（公告）號: CN113744759B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 黃杰雄
• 申請（專利權）人: 廣州酷狗計算機科技有限公司
• 主分類號: G10L25/24
• 分類號: G10L25/24;G10L17/00;G10L17/06;G10L25/30
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

本申請公開音色模板定制方法及其裝置、設備、介質、產品，所述方法包括：獲取音頻采樣數據，從中提取出人聲發音部分相對應的梅爾頻譜信息；調用預訓練至收斂狀態的音色提取模型從所述梅爾頻譜信息中提取出表征該音頻采樣數據的音源對象的音色的向量矩陣集，該向量矩陣集包括時域上的多個向量矩陣；求取所述向量矩陣集中多個向量矩陣之間的均值向量矩陣作為該音源對象的聲紋特征信息；生成所述音源對象相對應的音色模板，所述音色模板包括音源對象的命名標識及由該命名標識所指向的所述聲紋特征信息。本申請能夠從音頻數據中有效地綜合并抽象出表征音源對象的音色的聲紋特征信息，有助于輔助音樂創作。

技術領域

本申請涉及音頻處理技術領域，尤其涉及一種音色模板定制方法及其相應的裝置、計算機設備、計算機可讀存儲介質，以及計算機程序產品。

背景技術

隨著語音合成技術的進步，逐漸實現了音色、音高的解耦，使得虛擬語音合成越來越成熟，有助于音樂領域生態的構建，同時，如何有效利用解耦后的音色、音高之類的特征信息，也為音樂領域的拓展應用帶來新的挑戰。

音色通過音頻數據中提取的聲紋特征來表征。音頻的聲紋特征是是眾多生物識別特征的一種，是在人發聲時提取出來的，可以作為發聲人的表征和標識，是一種能與其他人相互區別的語音特征。聲紋特征描述了人聲的發音特點，可以通過梅爾頻譜來提取，具有類似指紋一樣的唯一性和獨特性，因此如何獲得一個優秀的聲紋特征對于音色的表征是非常重要的。

現有的技術中，常用于提取聲紋特征的方法有基于傳統統計聲學模型的i-vector算法，和基于T-DNN神經網絡的x-vector算法。這些算法在語音聲紋提取上都做了不錯的嘗試，通過提取人說話時的聲紋embedding來表示不同的說話人。

遺憾的是，現有的i-vector和x-vector算法都是應用在人說話時提取語音的聲紋特征，而在歌聲的聲紋特征提取中，這些方法得到的聲紋并不能夠很好地表示歌聲的音色特點，后續業內做出的一些嘗試，盡管有所改善，但仍存在難以有效提取出歌唱所需的聲紋特征的問題，由此也難以在這些技術提取出的聲紋特征的基礎上做進一步的拓展應用。因此，現有技術對音樂領域的貢獻是有限的。

發明內容

本申請的首要目的在于解決上述問題至少之一而提供一種音色模板定制方法及其相應的裝置、計算機設備、計算機可讀存儲介質、計算機程序產品，以有助輔助音樂創作。

為滿足本申請的各個目的，本申請采用如下技術方案：

適應本申請的目的之一而提供的一種音色模板定制方法，包括如下步驟：

獲取音頻采樣數據，從中提取出人聲發音部分相對應的梅爾頻譜信息；

調用預訓練至收斂狀態的音色提取模型從所述梅爾頻譜信息中提取出表征該音頻采樣數據的音源對象的音色的向量矩陣集，該向量矩陣集包括時域上的多個向量矩陣；

求取所述向量矩陣集中多個向量矩陣之間的均值向量矩陣作為該音源對象的聲紋特征信息；

生成所述音源對象相對應的音色模板，所述音色模板包括音源對象的命名標識及由該命名標識所指向的所述聲紋特征信息。

較佳的實施例中，所述音色提取模型的預訓練過程包括如下步驟：

調用所述音色提取模型從訓練樣本的梅爾頻譜信息中提取出表征該訓練樣本的音源對象的音色的向量矩陣，對所述向量矩陣進行全連接，獲得全連接后的綜合向量矩陣，所述綜合向量矩陣包括時域上的多個向量矩陣，每個訓練樣本包含單個音源對象的歌曲清唱發聲數據；

調用預設分類模型對所述綜合向量矩陣進行分類，以所述訓練樣本相對應的監督標簽對分類結果進行監督，根據監督結果反向傳播修正所述音色提取模型的權重參數；

循環迭代實施對所述音色提取模型的訓練，直至所述分類模型的交叉熵損失函數達到收斂狀態。