[發明專利]一種多歌者歌聲合成方法及裝置

有效

• 申請號: 202011367298.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112466313B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉書君;王昆;朱海;周琳岷
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G10L19/16
• 分類號: G10L19/16;G10L19/02;G10L15/02;G10L25/30
• 代理公司: 四川省成都市天策商標專利事務所(有限合伙) 51213
• 代理人: 趙以鵬

1.一種多歌者歌聲合成方法，其特征在于，包括訓練階段和推理階段：

訓練階段包括以下步驟：

S11.解析多歌者歌聲數據，并提取數據的樂句特征、樂句對應的音素發音時長和樂句對應的音頻頻譜特征；樂句特征由音素向量、音符音高向量、音符時長向量構成；

S12.為每個歌聲數據庫生成歌者向量；

S13.將樂句特征和歌者向量作為模型輸入，頻譜特征和發音時長作為模型輸出，并采用生成對抗網絡作為模型的損失函數聯合訓練該模型；

推理階段包括以下步驟：

S21.解析樂譜并提取樂譜的樂句特征，生成歌者向量；

S22.將步驟S21所獲取的樂句特征和歌者向量共同輸入到S13得到的模型，從模型編碼器得到聲學特征，從模型的時長預測器得到每個音素的發音時長；

S23.根據樂譜中樂句時長調整其所對應合成音素的發音時長；

S24.根據每個音素的發音時長擴展聲學特征，并將擴展之后的聲學特征輸入到模型解碼器生成頻譜；

S25.利用步驟S24為每個樂句生成的頻譜輸入到聲碼器生成樂句相應歌聲音頻片段，并將所有音頻片段按照樂句在樂譜中的出現順序拼接為完整的歌聲音頻。

2.根據權利要求1所述的一種多歌者歌聲合成方法，其特征在于，所述步驟S11包括：

對多個歌者的樂譜數據文件解析出歌詞、音符音高和音符時長信息；

按照樂譜中休止符的位置將每張樂譜分割成多個樂句，休止符歸屬于該休止符之前的樂句；

將每個樂句相應的歌詞信息轉換為聲韻級別的音素序列，按照歌詞順序排列音素序列，并將排列后音素序列映射為整數向量；

將每個樂句相對應的音符音高信息和音符時長信息按照順序排列的音素序列分別展開，得到和音素序列個數一致的音符音高序列和音符時長序列，并將音符音高序列和音符時長序列分別映射為整數向量和浮點數向量；

從樂譜所包含歌詞對應的音素發音時長文件解析出每個音素的發音時長，然后根據該樂譜相應的多個樂句將音素發音時長序列分割為與樂句相應的多個音素發音時長序列，并將以秒為單位的每個音素發音時長序列轉換為以幀為單位的發音時長整數向量；

將樂譜對應的音頻文件根據該樂譜對應的多個樂句時長切分為多個音頻片段，并提取每個音頻片段的頻譜特征，頻譜特征包擴但不限于線性譜和梅爾頻譜。

3.根據權利要求1所述的一種多歌者歌聲合成方法，其特征在于，所述步驟S12包括：

每個歌者向量由一個整數向量表示，該向量的維度與樂句相應的音素序列長度一致，所述歌者向量的元素值相同，代表歌者的序號，一張樂譜對應一個序號，一個序號對應多張樂譜。

4.根據權利要求1所述的一種多歌者歌聲合成方法，其特征在于，所述步驟S13包括：

所述模型的輸入包含樂句特征和歌者向量，所述模型的輸出包含發音時長向量和音頻特征，其中樂句特征由音素向量、音符音高向量、音符時長向量構成；

所述模型包含五個部分：嵌入層、編碼器、時長預測器、解碼器和判別器；

將輸入音素向量、音符音高向量、音符時長向量和歌者向量分別通過所述模型最前層的四個嵌入網絡層用于提取各個特征的隱特征，然后將四個嵌入層輸出的隱特征相加繼續傳遞給模型；

編碼器將各個嵌入層之和作為輸入，產生音素級別的聲學特征；

時長預測器將各個嵌入層之和作為輸入，產生每個音素發音幀數，并根據發音幀數擴展音素級別的聲學特征為幀級別的聲學特征；

將幀級別的聲學特征輸入解碼器得到頻譜特征；

頻譜特征輸入判別器用以判斷模型生成的頻譜是否接近真實頻譜；

編碼器和解碼器結構包括但不限于Tacotron2、FastSpeech2，時長預測器和判別器包括但不限于多層一維卷積神經網絡。