[發(fā)明專利]音頻處理方法、裝置、可讀介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110586577.5
• 申請(qǐng)日: 2021-05-27
• 公開（公告）號(hào): CN113327628A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 徐怡廷;王素珍;丁銳
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G10L25/27
• 分類號(hào): G10L25/27;G10L25/03;G06K9/62
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏云鹿

本公開涉及一種音頻處理方法、裝置、可讀介質(zhì)和電子設(shè)備，涉及音頻信號(hào)處理技術(shù)領(lǐng)域，該方法包括：提取待處理音頻中每個(gè)音頻幀的頻域特征，并基于頻域特征確定待處理音頻對(duì)應(yīng)的初始相似度矩陣，獲取每個(gè)音頻幀在待處理音頻中的時(shí)間順序，按照時(shí)間順序修正初始相似度矩陣，以得到融合時(shí)間關(guān)系的目標(biāo)相似度矩陣，根據(jù)目標(biāo)相似度矩陣構(gòu)建待處理音頻對(duì)應(yīng)的音頻特征圖譜，對(duì)音頻特征圖譜進(jìn)行譜聚類，得到多個(gè)簇，并根據(jù)多個(gè)簇的聚類邊界確定待處理音頻的多個(gè)分割邊界，根據(jù)分割邊界對(duì)待處理音頻進(jìn)行分割，以得到多個(gè)音頻段。本公開能夠提高音頻分割的準(zhǔn)確度和適應(yīng)度。

技術(shù)領(lǐng)域

本公開涉及音頻信號(hào)處理技術(shù)領(lǐng)域，具體地，涉及一種音頻處理方法、裝置、可讀介質(zhì)和電子設(shè)備。

背景技術(shù)

隨著終端技術(shù)和電子信息技術(shù)的不斷發(fā)展，終端設(shè)備在人們?nèi)粘Ｉ钪械闹匾栽絹碓礁撸藗兛梢酝ㄟ^終端設(shè)備獲取各種形式的信息。其中，相較于文本信息、圖片信息來說，視頻信息中包含的內(nèi)容表達(dá)更加豐富，能夠從視覺和聽覺兩個(gè)維度為用戶傳遞信息。對(duì)于視頻信息來說，合適的背景音樂往往能夠增加信息的表現(xiàn)力和傳播度。

由于一首完整的音樂的時(shí)長，往往與需要與之適配的視頻畫面的時(shí)長不同，如果直接對(duì)音樂進(jìn)行截?cái)啵瑢?huì)導(dǎo)致音樂不完整，表現(xiàn)效果生硬，甚至?xí)绊懸曨l畫面的表現(xiàn)力。因此，為了使視頻畫面和音頻能夠匹配，需要對(duì)音頻的音樂結(jié)構(gòu)進(jìn)行分析，以將音頻按照音樂結(jié)構(gòu)進(jìn)行分割，得到多個(gè)音頻段，從而實(shí)現(xiàn)音頻段和畫面片段的匹配。

發(fā)明內(nèi)容

提供該發(fā)明內(nèi)容部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

第一方面，本公開提供一種音頻處理方法，所述方法包括：

提取待處理音頻中每個(gè)音頻幀的頻域特征，并基于所述頻域特征確定所述待處理音頻對(duì)應(yīng)的初始相似度矩陣；

獲取每個(gè)所述音頻幀在所述待處理音頻中的時(shí)間順序，按照所述時(shí)間順序修正所述初始相似度矩陣，以得到融合時(shí)間關(guān)系的目標(biāo)相似度矩陣；

根據(jù)所述目標(biāo)相似度矩陣構(gòu)建所述待處理音頻對(duì)應(yīng)的音頻特征圖譜；

對(duì)所述音頻特征圖譜進(jìn)行譜聚類，得到多個(gè)簇，并根據(jù)多個(gè)所述簇的聚類邊界確定所述待處理音頻的多個(gè)分割邊界；

根據(jù)所述分割邊界對(duì)所述待處理音頻進(jìn)行分割，以得到多個(gè)音頻段。

第二方面，本公開提供一種音頻處理裝置，所述裝置包括：

第一確定模塊，用于提取待處理音頻中每個(gè)音頻幀的頻域特征，并基于所述頻域特征確定所述待處理音頻對(duì)應(yīng)的初始相似度矩陣；

第二確定模塊，用于獲取每個(gè)所述音頻幀在所述待處理音頻中的時(shí)間順序，按照所述時(shí)間順序修正所述初始相似度矩陣，以得到融合時(shí)間關(guān)系的目標(biāo)相似度矩陣；

圖譜構(gòu)建模塊，用于根據(jù)所述目標(biāo)相似度矩陣構(gòu)建所述待處理音頻對(duì)應(yīng)的音頻特征圖譜；

聚類模塊，用于對(duì)所述音頻特征圖譜進(jìn)行譜聚類，得到多個(gè)簇，并根據(jù)多個(gè)簇的聚類邊界確定多個(gè)分割邊界；

分割模塊，用于根據(jù)所述分割邊界對(duì)所述待處理音頻進(jìn)行分割，以得到多個(gè)音頻段。

第三方面，本公開提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理裝置執(zhí)行時(shí)實(shí)現(xiàn)本公開第一方面所述方法的步驟。

第四方面，本公開提供一種電子設(shè)備，包括：

存儲(chǔ)裝置，其上存儲(chǔ)有計(jì)算機(jī)程序；

處理裝置，用于執(zhí)行所述存儲(chǔ)裝置中的所述計(jì)算機(jī)程序，以實(shí)現(xiàn)本公開第一方面所述方法的步驟。