[發明專利]歌聲轉換方法、裝置、設備及存儲介質

有效

• 申請號: 202110607799.0
• 申請日: 2021-06-01
• 公開（公告）號: CN113345453B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 張旭龍;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L21/013
• 分類號: G10L21/013;G10L25/30;G10L25/48;G10L25/03;G10H1/36
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及人工智能領域，公開了一種歌聲轉換方法、裝置、設備及存儲介質，用于提高歌聲音頻的合成效率。歌聲轉換方法包括：獲取初始錄音數據，對初始錄音數據進行預處理，得到預處理后的錄音數據；對預處理后的錄音數據中的每一幀數據分別進行特征提取，得到錄音梅爾譜特征；通過預置的基頻提取算法，提取預處理后的錄音數據中的旋律特征，得到旋律基頻特征；獲取歌詞文本數據，調用預置的邊界均衡生成對抗網絡模型，對錄音梅爾譜特征、旋律基頻特征和歌詞文本數據進行編碼處理和解碼處理，得到歌聲音頻梅爾譜圖；調用預置的梅爾生成對抗網絡模型確定目標歌聲音頻。此外，本發明還涉及區塊鏈技術，目標歌聲音頻可存儲于區塊鏈節點中。

技術領域

本發明涉及音頻轉換領域，尤其涉及一種歌聲轉換方法、裝置、設備及存儲介質。

背景技術

歌聲轉換是將說話人的語音信息進行音色提取，然后根據歌詞和旋律信息來合成跟說話人音色相同的歌聲音頻。

在現有技術中，聲音的合成方法是對多種聲學參數進行建模，這樣合成的音質取決于各個控制環節的效果，如果某一環節效果不好則會對合成的音質產生較大的影響，類似的合成方法還有基于模板的生成方法，這種方法需要一個高音質的音色庫來提取各種音樂的參數，且這種方法需要高質量的音樂來作為模板，但高質量的音樂模板建立過程比較困難，導致歌聲音頻的合成效率低下。

發明內容

本發明提供了一種歌聲轉換方法、裝置、設備及存儲介質，用于基于邊界均衡生成對抗網絡模型對錄音梅爾譜特征、旋律基頻特征和歌詞數據進行編碼處理和解碼處理，得到歌聲音頻梅爾譜圖，并調用梅爾生成對抗網絡模型，對歌聲音頻梅爾譜圖進行轉換，得到目標歌聲音頻，提高了歌聲音頻的合成效率。

本發明第一方面提供了一種歌聲轉換方法，包括：獲取初始錄音數據，對所述初始錄音數據進行預處理，得到預處理后的錄音數據；對所述預處理后的錄音數據中的每一幀數據分別進行特征提取，得到錄音梅爾譜特征；通過預置的基頻提取算法，提取所述預處理后的錄音數據中的旋律特征，得到旋律基頻特征；獲取歌詞文本數據，調用預置的邊界均衡生成對抗網絡模型，對所述錄音梅爾譜特征、所述旋律基頻特征和所述歌詞文本數據進行編碼處理和解碼處理，得到歌聲音頻梅爾譜圖；調用預置的梅爾生成對抗網絡模型，對所述歌聲音頻梅爾譜圖進行轉換，得到初始歌聲音頻，調用預置的判別器對所述初始歌聲音頻進行判別，得到判別結果，基于所述判別結果確定目標歌聲音頻。

可選的，在本發明第一方面的第一種實現方式中，所述獲取初始錄音數據，對所述初始錄音數據進行預處理，得到預處理后的錄音數據包括：獲取初始錄音數據，調用預置的語音端點檢測算法，對所述初始錄音數據進行切分和檢測，得到錄音切分片段；刪除所述錄音切分片段中的無效片段，得到過濾后的錄音數據，所述無效片段為包含噪音信號的錄音片段和靜音片段；對所述過濾后的錄音數據依次進行預加重、分幀和加窗處理，得到預處理后的錄音數據。

可選的，在本發明第一方面的第二種實現方式中，所述對所述預處理后的錄音數據中的每一幀數據分別進行特征提取，得到錄音梅爾譜特征包括：對所述預處理后的錄音數據中的每一幀數據分別進行傅里葉變換，得到每一幀數據對應的頻譜數據；通過預置的梅爾濾波器，對所述每一幀數據對應的頻譜數據進行平滑化處理，得到平滑處理后的數據，將平滑處理后的數據確定為錄音梅爾譜特征。

可選的，在本發明第一方面的第三種實現方式中，所述通過預置的基頻提取算法，提取所述預處理后的錄音數據中的旋律特征，得到旋律基頻特征包括：調用預置的基頻提取算法，對所述預處理后的錄音數據進行計算，得到每一幀數據對應的差函數計算結果；在所述每一幀數據對應的差函數計算結果中，分別查詢預設數量的谷值，得到每一幀數據對應的多個谷值，基于所述每一幀數據對應的多個谷值，確定旋律波形的最小正周期，得到初始基頻特征；基于預設的基頻轉移規律，對所述初始基頻特征進行平滑化處理，得到旋律基頻特征。