[發明專利]音頻對齊方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110096187.X
• 申請日: 2021-01-25
• 公開（公告）號: CN112687247B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 李楠;張晨
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00;G10H1/36;G10H1/40;G10H7/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 朱志玲;劉超

1.一種用于音頻對齊的方法，其特征在于，包括：

獲取伴奏信號以及采集的包含外放伴奏的歌聲信號；

對所述伴奏信號和所述歌聲信號分別進行短時傅里葉變換，以獲得與所述伴奏信號對應的第一頻域音頻信號和與所述歌聲信號對應的第二頻域音頻信號；

基于第一頻域音頻信號和第二頻域音頻信號，估計第一頻域音頻信號與第二頻域音頻信號中與所述外放伴奏對應的頻域信號分量之間每個時刻的延遲幀數；

將所述每個時刻的延遲幀數與所述每個時刻之前的連續多個時刻的延遲幀數構成預定長度的延遲序列，作為與所述每個時刻對應的延遲序列；

通過對與所述每個時刻對應的延遲序列進行置信度判斷來確定延遲序列中置信度最高的延遲幀數，并將所述置信度最高的延遲幀數作為所述每個時刻的最終延遲幀數；

根據所述每個時刻的最終延遲幀數對所述歌聲信號進行調整以使所述歌聲信號與所述伴奏信號對齊。

2.如權利要求1所述的方法，其特征在于，所述通過對與所述每個時刻對應的延遲序列進行置信度判斷來確定延遲序列中置信度最高的延遲幀數，包括：

基于與所述歌聲信號對應的樂器數字接口MIDI信息或具有時間標注的歌詞信息對與所述每個時刻對應的延遲序列進行置信度判斷，來確定延遲序列中置信度最高的延遲幀數。

3.如權利要求2所述的方法，其特征在于，所述基于與所述歌聲信號對應的樂器數字接口MIDI信息或具有時間標注的歌詞信息對與所述每個時刻對應的延遲序列進行置信度判斷，來確定延遲序列中置信度最高的延遲幀數，包括：

基于與所述歌聲信號對應的樂器數字接口MIDI信息或具有時間標注的歌詞信息，確定與延遲序列中的各個時刻對應的歌聲信號是否存在歌聲；

根據確定結果以及延遲序列，獲得與延遲序列對應的統計直方圖；

將與統計直方圖中的最大值對應的延遲幀數作為所述置信度最高的延遲幀數。

4.如權利要求1所述的方法，其特征在于，所述根據所述每個時刻的最終延遲幀數對所述歌聲信號進行調整以使所述歌聲信號與所述伴奏信號對齊，包括：

根據預定的最大容忍延遲幀數確定所述每個時刻的時域延遲樣點數；

基于所述每個時刻的時域延遲樣點數，對所述歌聲信號進行調整；

對調整后的歌聲信號進行平滑處理。

5.如權利要求4所述的方法，其特征在于，所述根據預定的最大容忍延遲幀數確定所述每個時刻的時域延遲樣點數，包括：

響應于所述每個時刻的前一時刻的最終延遲幀數小于或等于所述每個時刻的最終延遲幀數與所述最大容忍延遲幀數之和并且大于或等于所述每個時刻的最終延遲幀數與所述最大容忍延遲幀數之差，依據所述前一時刻的最終延遲幀數確定所述每個時刻的時域延遲樣點數；

響應于述每個時刻的前一時刻的最終延遲幀數小于所述每個時刻的最終延遲幀數與所述最大容忍延遲幀數之差并且大于所述每個時刻的最終延遲幀數與所述最大容忍延遲幀數之和，依據所述每個時刻的最終延遲幀數確定所述每個時刻的時域延遲樣點數。

6.如權利要求1所述的方法，還包括：將對齊的所述歌聲信號和所述伴奏信號進行混音處理，得到混合后的歌曲信號。

7.一種用于音頻對齊的裝置，其特征在于，包括：

信號獲取單元，被配置為獲取伴奏信號以及采集的包含外放伴奏的歌聲信號；

延遲估計單元，被配置為：對所述伴奏信號和所述歌聲信號分別進行短時傅里葉變換，以獲得與所述伴奏信號對應的第一頻域音頻信號和與所述歌聲信號對應的第二頻域音頻信號；基于第一頻域音頻信號和第二頻域音頻信號，估計第一頻域音頻信號與第二頻域音頻信號中與所述外放伴奏對應的頻域信號分量之間每個時刻的延遲幀數；

調整單元，被配置為：將所述每個時刻的延遲幀數與所述每個時刻之前的連續多個時刻的延遲幀數構成預定長度的延遲序列，作為與所述每個時刻對應的延遲序列；通過對與所述每個時刻對應的延遲序列進行置信度判斷來確定延遲序列中置信度最高的延遲幀數，并將所述置信度最高的延遲幀數作為所述每個時刻的最終延遲幀數；根據所述每個時刻的最終延遲幀數對所述歌聲信號進行調整以使所述歌聲信號與所述伴奏信號對齊。