[發(fā)明專利]音頻處理方法、裝置、可讀介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110586577.5
• 申請日: 2021-05-27
• 公開（公告）號(hào): CN113327628A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 徐怡廷;王素珍;丁銳
• 申請（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G10L25/27
• 分類號(hào): G10L25/27;G10L25/03;G06K9/62
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏云鹿

1.一種音頻處理方法，其特征在于，所述方法包括：

提取待處理音頻中每個(gè)音頻幀的頻域特征，并基于所述頻域特征確定所述待處理音頻對應(yīng)的初始相似度矩陣；

獲取每個(gè)所述音頻幀在所述待處理音頻中的時(shí)間順序，按照所述時(shí)間順序修正所述初始相似度矩陣，以得到融合時(shí)間關(guān)系的目標(biāo)相似度矩陣；

根據(jù)所述目標(biāo)相似度矩陣構(gòu)建所述待處理音頻對應(yīng)的音頻特征圖譜；

對所述音頻特征圖譜進(jìn)行譜聚類，得到多個(gè)簇，并根據(jù)多個(gè)所述簇的聚類邊界確定所述待處理音頻的多個(gè)分割邊界；

根據(jù)所述分割邊界對所述待處理音頻進(jìn)行分割，以得到多個(gè)音頻段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取待處理音頻中每個(gè)音頻幀的頻域特征，包括：

按照CQT提取每個(gè)所述音頻幀的頻域特征；

所述基于所述頻域特征確定所述待處理音頻對應(yīng)的初始相似度矩陣，包括：

根據(jù)每個(gè)所述音頻幀的頻域特征，確定每兩個(gè)所述音頻幀在頻域特征上的相似度；

根據(jù)每兩個(gè)所述音頻幀在頻域特征上的相似度，生成所述初始相似度矩陣，并對所述初始相似度矩陣進(jìn)行平滑濾波。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個(gè)所述音頻幀的頻域特征，確定每兩個(gè)所述音頻幀在頻域特征上的相似度，包括：

利用高斯核函數(shù)計(jì)算每兩個(gè)所述音頻幀的頻域特征之間的第一相似度；

按照預(yù)設(shè)的鄰近算法確定每個(gè)所述音頻幀在頻域特征上對應(yīng)的鄰近音頻幀；

若第一音頻幀屬于第二音頻幀對應(yīng)的所述鄰近音頻幀，將所述第一音頻幀的頻域特征與所述第二音頻幀的頻域特征之間的第一相似度，作為所述第一音頻幀與所述第二音頻幀在頻域特征上的相似度；若所述第一音頻幀不屬于所述第二音頻幀對應(yīng)的所述鄰近音頻幀，將所述第一音頻幀與所述第二音頻幀在頻域特征上的相似度置零；

其中，所述第一音頻幀與所述第二音頻幀不同。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述分割邊界對所述待處理音頻進(jìn)行分割，以得到多個(gè)音頻段，包括：

提取所述待處理音頻中對應(yīng)的節(jié)拍時(shí)刻序列，所述節(jié)拍時(shí)刻序列包括所述待處理音頻中的每個(gè)節(jié)拍對應(yīng)的時(shí)刻；

針對每個(gè)所述分割邊界，在所述節(jié)拍時(shí)刻序列中查找，對應(yīng)的時(shí)刻與該分割邊界之間的時(shí)間差最小的目標(biāo)節(jié)拍；

按照每個(gè)所述分割邊界對應(yīng)的所述目標(biāo)節(jié)拍對應(yīng)的時(shí)刻，對所述待處理音頻進(jìn)行分割，以得到多個(gè)所述音頻段。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述提取所述待處理音頻中對應(yīng)的節(jié)拍時(shí)刻序列，包括：

根據(jù)每個(gè)所述音頻幀的短時(shí)能量，確定所述待處理音頻中每個(gè)音符的起始點(diǎn)；

根據(jù)每個(gè)所述音符的起始點(diǎn)，確定所述待處理音頻的速度和節(jié)拍；

根據(jù)每個(gè)所述音頻幀的短時(shí)能量、所述待處理音頻的速度和節(jié)拍，確定所述待處理音頻中的每個(gè)節(jié)拍對應(yīng)的時(shí)刻。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照所述時(shí)間順序，修正所述初始相似度矩陣，以得到融合時(shí)間關(guān)系的目標(biāo)相似度矩陣，包括：

根據(jù)每個(gè)所述音頻幀在所述待處理音頻中的時(shí)間順序，和每兩個(gè)所述音頻幀在頻域特征上的相似度，確定每兩個(gè)所述音頻幀之間的目標(biāo)相似度；

根據(jù)每兩個(gè)所述音頻幀之間的目標(biāo)相似度，生成所述目標(biāo)相似度矩陣。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)每個(gè)所述音頻幀在所述待處理音頻中的時(shí)間順序，和每兩個(gè)所述音頻幀在頻域特征上的相似度，確定每兩個(gè)所述音頻幀之間的目標(biāo)相似度，包括：

若第一音頻幀與第二音頻幀的時(shí)間差小于預(yù)設(shè)的時(shí)間閾值，將所述第一音頻幀與所述第二音頻幀之間的目標(biāo)相似度置為1；若第一音頻幀與第二音頻幀的時(shí)間差大于或等于所述時(shí)間閾值，將所述第一音頻幀與所述第二音頻幀在頻域特征上的相似度，作為所述第一音頻幀與所述第二音頻幀之間的目標(biāo)相似度；

其中，所述第一音頻幀與所述第二音頻幀不同。