[發明專利]音樂伴奏的分離方法和裝置

在審

• 申請號: 202111262479.2
• 申請日: 2021-10-28
• 公開（公告）號: CN114005461A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 徐煥芬;周躍兵
• 申請（專利權）人: 廣州艾美網絡科技有限公司
• 主分類號: G10L21/028
• 分類號: G10L21/028;G10H1/36
• 代理公司: 廣州市律帆知識產權代理事務所(普通合伙) 44614
• 代理人: 余永文

1.一種音樂伴奏的分離方法，其特征在于，包括：

獲取導入音樂，并將所述導入音樂轉換為音樂頻譜；

將所述音樂頻譜分別輸入所述人聲網絡、伴奏網絡和樂器網絡，獲得人聲頻譜、初始伴奏頻譜和各種樂器對應的樂器伴奏頻譜；

根據所述人聲頻譜、初始伴奏頻譜和樂器伴奏頻譜分別獲取人聲文件、初始伴奏文件和各種樂器對應的樂器伴奏文件；

根據所述樂器伴奏文件獲取各個樂器的樂器曲特征，并根據所述樂器曲特征對所述初始伴奏文件進行重塑得到高保真伴奏文件。

2.根據權利要求1所述的音樂伴奏的分離方法，其特征在于，還包括：

基于盲源分離技術構建人聲網絡、伴奏網絡和樂器網絡；

利用歌曲庫中帶伴奏的樣本音樂輸入人聲網絡、伴奏網絡和樂器網絡，并利用歌曲庫中的純人聲、純伴奏和純樂器音色分別對人聲網絡、伴奏網絡和樂器網絡的輸出進行比對；

根據比對結果優化所述人聲網絡、伴奏網絡和樂器網絡。

3.根據權利要求2所述的音樂伴奏的分離方法，其特征在于，所述利用歌曲庫中帶伴奏的樣本音樂輸入人聲網絡、伴奏網絡和樂器網絡，并利用歌曲庫中的純人聲、純伴奏和純樂器音色分別對人聲網絡、伴奏網絡和樂器網絡的輸出進行比對，包括：

將歌曲庫中帶伴奏的樣本音樂、純人聲、純伴奏和純樂器音色分別進行STFT轉換得到相應的樣本音樂對數梅爾頻譜、人聲對數梅爾頻譜、伴奏對數梅爾頻譜和樂器對數梅爾頻譜，并分別進行小波分析；

將所述樣本音樂對數梅爾頻譜通過所述人聲網絡、伴奏網絡和樂器網絡進行分析，得到相應的人聲音軌幅度譜、伴奏音軌幅度譜和樂器音軌幅度譜；

對所述純樂器音色進行ADSR分析，得到各種類型的樂器對應的包絡特征，并依據所述包絡特征修正所述樂器音軌幅度譜；

所述根據比對結果持續優化所述人聲網絡、伴奏網絡和樂器網絡，包括：

分別計算所述人聲音軌幅度譜、伴奏音軌幅度譜和樂器音軌幅度譜與所述人聲對數梅爾頻譜、伴奏對數梅爾頻譜和樂器對數梅爾頻譜之間的曼哈頓距離；

以所述曼哈頓距離均值為所述人聲網絡、伴奏網絡和樂器網絡的損失函數，并依據所述曼哈頓距離調整優化所述損失函數。

4.根據權利要求3所述的音樂伴奏的分離方法，其特征在于，所述將所述導入音樂轉換為音樂頻譜，包括：

對所述導入音樂進行STFT頻譜分析，并進行對數梅爾頻譜轉化得到導入音樂對數梅爾頻譜；

所述將所述音樂頻譜分別輸入所述人聲網絡、伴奏網絡和樂器網絡，獲得人聲頻譜、初始伴奏頻譜和各種樂器對應的樂器伴奏頻譜，包括：

將所述導入音樂對數梅爾頻譜特分別輸入人聲網絡、伴奏網絡和樂器網絡，獲得人聲頻譜、伴奏頻譜和樂器頻譜；

分別計算所述人聲譜和伴奏頻譜在整體音樂頻譜中所占的第一比例和第二比例，以及所述樂器頻譜在所述伴奏頻譜中所占的第三比例；其中，所述整體音樂頻譜為人聲頻譜與伴奏頻譜頻率范圍；

將所述第一比例與所述導入音樂對數梅爾頻譜進行乘積得到人聲對數梅爾頻譜；將所述第二比例與所述導入音樂對數梅爾頻譜進行乘積得到伴奏對數梅爾頻譜；

將所述第三比例與所述伴奏對數梅爾頻譜進行乘積得到樂器對數梅爾頻譜；

所述根據所述人聲頻譜、初始伴奏頻譜和樂器伴奏頻譜分別獲取人聲文件、初始伴奏文件和各種樂器對應的樂器伴奏文件，包括：

分別對所述人聲對數梅爾頻譜、伴奏對數梅爾頻譜和樂器對數梅爾頻譜進行ISFTF分析得到人聲文件、初始伴奏文件和各種樂器對應的樂器伴奏文件。

5.根據權利要求1-4任一項所述的音樂伴奏的分離方法，其特征在于，所述根據所述樂器伴奏文件獲取各個樂器的樂器曲特征，并根據所述樂器曲特征對所述初始伴奏文件進行重塑得到高保真伴奏文件，包括：

分別從各個發聲樂器的樂器伴奏文件中提取出樂器曲特征；其中，所述樂器曲特征包括當前音符及其持續時間和強度值；

從樂器音色庫中搜索出一致的目標樂器，并利用所述目標樂器的樂器曲特征來對所述初始伴奏文件進行重構，得到高保真伴奏文件。