[發明專利]音頻中音樂及音樂相對響度的聯合檢測方法

有效

• 申請號: 202010198682.7
• 申請日: 2020-03-20
• 公開（公告）號: CN111429943B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 呂建成;賈碧玨;彭璽;李茂;孫亞楠;黃曉明
• 申請（專利權）人: 四川大學
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/03;G10L25/54;G10L25/78;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 代維凡

本發明公開了一種音頻中音樂及音樂相對響度的聯合檢測方法，其包括獲取待檢測音頻，并對其進行預處理得到音頻特征；將音頻特征作為網絡輸入序列輸入雙任務音樂檢測網絡模型，輸出每個時間步的三個預測分數；基于預測分數≥設定閾值或＜設定閾值時標記為1或0，將每個時間步的預測分數轉換成大小為(3,)的0?1預測向量，采用所有時間步的預測向量形成音樂相對響度檢測序列；將預測向量的二三位置采用邏輯或運算合并得到大小為(2,)的0?1預測向量，采用邏輯或運算得到的所有預測向量形成音樂檢測序列；將音樂相對響度檢測序列和音樂檢測序列轉為可讀的標注，得到音頻包括起始時間、結束時間和類別的標注文件。

技術領域

本發明涉及音樂檢測技術，具體涉及一種音頻中音樂及音樂相對響度的聯合檢測方法。

背景技術

音樂檢測是音樂信息檢索任務的一種，音樂檢測是指給定一個音頻文件，判斷其中是否含有音樂片段以及出現音樂片段的起止位置。音樂檢測任務的兩個主要應用是：(1)基于音頻內容對聽覺信息進行自動索引和檢索；(2)監測音樂以進行版權管理。此外，音樂檢測還可以作為其他音樂信息檢索任務的中間步驟并提高其他音樂信息檢索算法的性能。

音樂檢測任務最初僅關注于對音頻文件中音樂聲和人說話聲這兩種類別的聲音信息進行區分(此外的聲音被標注為噪音)。考慮到音樂檢測在版權管理方面具有重要的應用意義，工業界已不滿足于僅檢測出是否存在音樂，還需要算法估計出檢測到的音樂是以前景聲音出現的還是背景聲音出現的。至此，音樂檢測任務分化出兩個子任務：檢測音樂是否存在以及檢測音樂的相對響度(相對于其他同時出現的非音樂聲音，判斷音樂是前景音樂還是背景音樂)。

現有的大部分音樂檢測技術仍停留在對人聲和音樂聲的區分上，并未考慮對音樂的相對響度進行估計，使得音樂檢測的效果欠佳。

發明內容

針對現有技術中的上述不足，本發明提供的音頻中音樂及音樂相對響度的聯合檢測方法能夠實現音樂及音樂相對響度的同時檢測，并能提高檢測精度。

為了達到上述發明目的，本發明采用的技術方案為：

提供一種音頻中音樂及音樂相對響度的聯合檢測方法，其包括：

S1、獲取待檢測音頻，并對其進行預處理得到音頻特征；

S2、將音頻特征作為網絡輸入序列輸入雙任務音樂檢測網絡模型，輸出每個時間步的三個預測分數，預測分數分別對應于無音樂、背景音樂和前景音樂；

S3、基于預測分數≥設定閾值或＜設定閾值時標記為1或0，將每個時間步的預測分數轉換成大小為(3,)的0-1預測向量，采用所有時間步的預測向量形成音樂相對響度檢測序列；

S4、將預測向量的二三位置采用邏輯或運算合并得到大小為(2,)的0-1預測向量，采用邏輯或運算得到的所有預測向量形成音樂檢測序列；

S5、將音樂相對響度檢測序列和音樂檢測序列轉為可讀的標注，得到音頻包括起始時間、結束時間和類別的標注文件。

本發明的有益效果為：本方案處理得到的音頻特征考慮了時序關系，音頻特征輸入雙任務音樂檢測網絡模型后得到每個時間步的時頻的三個預測分數保持了各時間步長上音頻的前后關系；

通過對得到的兩個檢測序列進行標注，可以得到比較直觀表征待檢測音頻在哪些時段是否存在音樂，且分別為前景音樂還是背景音樂的標注文件，標注文件由于保持了各個時間步長上音頻的前后關系，從而使得本方案可以取得更優的檢測結果。

附圖說明

圖1為音頻中音樂及音樂相對響度的聯合檢測方法的流程圖。

圖2為雙任務音樂檢測網絡的結構示意圖。

圖3為本方案的音頻中音樂及音樂相對響度的聯合檢測方法標注效果示意圖。

具體實施方式