[發(fā)明專利]音頻轉(zhuǎn)換方法、音頻轉(zhuǎn)換裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011589644.0
• 申請(qǐng)日: 2020-12-29
• 公開（公告）號(hào): CN113539214A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 田思達(dá)
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G10H1/00
• 分類號(hào): G10H1/00;G10L25/30
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟

1.一種音頻轉(zhuǎn)換方法，包括：

獲取待轉(zhuǎn)換音頻以及指定轉(zhuǎn)換類型；

對(duì)所述待轉(zhuǎn)換音頻進(jìn)行音源分離處理，以獲取所述待轉(zhuǎn)換音頻的主旋律音軌；

基于所述主旋律音軌預(yù)測(cè)所述待轉(zhuǎn)換音頻的樂譜，以生成預(yù)測(cè)樂譜；以及

基于所述預(yù)測(cè)樂譜生成所述指定轉(zhuǎn)換類型的轉(zhuǎn)換音頻。

2.根據(jù)權(quán)利要求1所述的音頻轉(zhuǎn)換方法，其中，獲取待轉(zhuǎn)換音頻包括：

輸入包含音頻的多媒體內(nèi)容或者所述多媒體內(nèi)容的鏈接；以及

提取所述多媒體內(nèi)容中的音頻作為所述待轉(zhuǎn)換音頻。

3.根據(jù)權(quán)利要求2所述的音頻轉(zhuǎn)換方法，其中，所述多媒體內(nèi)容是視頻文件、音頻文件、視頻流、音頻流中的任一種，所述預(yù)測(cè)樂譜包括用符號(hào)表示的樂曲信息，所述樂曲信息包括具有音高、起始時(shí)間和終止時(shí)間的不同節(jié)拍。

4.根據(jù)權(quán)利要求1所述的音頻轉(zhuǎn)換方法，其中，對(duì)所述待轉(zhuǎn)換音頻進(jìn)行音源分離處理以獲取所述待轉(zhuǎn)換音頻的主旋律音軌包括：

將所述待轉(zhuǎn)換音頻劃分為至少兩個(gè)分離音軌，所述至少兩個(gè)分離音軌包括主旋律音軌和至少一個(gè)非主旋律音軌，所述至少一個(gè)非主旋律音軌包括：人聲音軌、貝斯音軌、鼓點(diǎn)音軌、以及其他音軌中的至少一部分；

從所述至少兩個(gè)分離音軌中提取所述主旋律音軌。

5.根據(jù)權(quán)利要求4所述的音頻轉(zhuǎn)換方法，還包括：

確定所述至少一個(gè)非主旋律音軌中的、要加入到所述轉(zhuǎn)換音頻中的目標(biāo)非主旋律音軌；

將所述目標(biāo)非主旋律音軌添加到所述轉(zhuǎn)換音頻中。

6.根據(jù)權(quán)利要求1所述的音頻轉(zhuǎn)換方法，其中，基于所述主旋律音軌預(yù)測(cè)所述待轉(zhuǎn)換音頻的樂譜以生成預(yù)測(cè)樂譜包括：

提取所述主旋律音軌的聲音特征參數(shù)；以及

將所述聲音特征參數(shù)輸入到深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)，以生成所述預(yù)測(cè)樂譜。

7.根據(jù)權(quán)利要求1所述的音頻轉(zhuǎn)換方法，其中，在基于所述預(yù)測(cè)樂譜生成所述指定轉(zhuǎn)換類型的轉(zhuǎn)換音頻之前，所述音頻轉(zhuǎn)換方法還包括：

確定所述預(yù)測(cè)樂譜中的細(xì)碎節(jié)拍的數(shù)量與節(jié)拍的總數(shù)的比例，所述細(xì)碎節(jié)拍為持續(xù)時(shí)間小于預(yù)定時(shí)間閾值的節(jié)拍；以及

在所述比例超過預(yù)定比例閾值時(shí)，對(duì)所述預(yù)測(cè)樂譜進(jìn)行優(yōu)化處理。

8.根據(jù)權(quán)利要求7所述的音頻轉(zhuǎn)換方法，其中，對(duì)所述預(yù)測(cè)樂譜進(jìn)行優(yōu)化處理包括：

對(duì)于處于同一音高的、同一小節(jié)內(nèi)部的細(xì)碎節(jié)拍，執(zhí)行以下處理中的一項(xiàng)或多項(xiàng)：合并臨近的細(xì)碎節(jié)拍；將細(xì)碎節(jié)拍分配至附近節(jié)拍；延長(zhǎng)細(xì)碎節(jié)拍；以及刪除細(xì)碎節(jié)拍，

其中，所述小節(jié)為所述預(yù)測(cè)樂譜中包括預(yù)定數(shù)量的節(jié)拍或者具有預(yù)定時(shí)間長(zhǎng)度的單位。

9.根據(jù)權(quán)利要求1所述的音頻轉(zhuǎn)換方法，其中，基于所述預(yù)測(cè)樂譜生成所述指定轉(zhuǎn)換類型的轉(zhuǎn)換音頻包括：

在所述預(yù)測(cè)樂譜中的樂曲信息的控制下，利用所述指定轉(zhuǎn)換類型的音色器文件來合成所述指定轉(zhuǎn)換類型的轉(zhuǎn)換音頻，其中，所述音色器文件為存儲(chǔ)樂器的真實(shí)聲音樣本的文件。

10.根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的音頻轉(zhuǎn)換方法，還包括：輸出所述轉(zhuǎn)換音頻，其中，輸出所述轉(zhuǎn)換音頻還包括以下至少一項(xiàng)：

以文件或鏈接的形式輸出所述轉(zhuǎn)換音頻；以及

將所述轉(zhuǎn)換音頻添加到對(duì)應(yīng)的視頻內(nèi)容中以生成編輯后的視頻內(nèi)容，并輸出所述編輯后的視頻內(nèi)容。