[發(fā)明專(zhuān)利]混音方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710665368.3
• 申請(qǐng)日: 2017-08-07
• 公開(kāi)（公告）號(hào): CN109389989B
• 公開(kāi)（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 吳威麒;張凱磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州謙問(wèn)萬(wàn)答吧教育科技有限公司
• 主分類(lèi)號(hào): G10L21/007
• 分類(lèi)號(hào): G10L21/007;G10L21/02;G10L21/0272;G10L21/0316;G10L25/84;G10L15/14;G10L15/16;G10L15/18;H04S3/00
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

1.一種混音方法，其特征在于，包括：

接收至少兩路聲道的音頻流數(shù)據(jù)；

通過(guò)預(yù)先訓(xùn)練的人聲檢測(cè)模型檢測(cè)所有聲道的音頻流數(shù)據(jù)的類(lèi)型，以識(shí)別出人聲聲道音頻流數(shù)據(jù)和噪聲聲道音頻流數(shù)據(jù)；

將所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成人聲混音數(shù)據(jù)；

將所述噪聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成噪聲混音數(shù)據(jù)；

將所述人聲混音數(shù)據(jù)與所述噪聲混音數(shù)據(jù)進(jìn)行混音，生成結(jié)果混音數(shù)據(jù)；

所述將所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成人聲混音數(shù)據(jù)之前，還包括：

判斷所述人聲聲道音頻流數(shù)據(jù)的幅值是否小于預(yù)設(shè)調(diào)整幅值；

若是，則將所述人聲聲道音頻流數(shù)據(jù)的幅值歸一化至第一預(yù)設(shè)幅值范圍，以更新人聲聲道音頻流數(shù)據(jù)；

或，判斷所述人聲聲道音頻流數(shù)據(jù)的幅值與所述噪聲聲道音頻流數(shù)據(jù)的幅值之差是否在預(yù)設(shè)幅值差范圍內(nèi)；

若是，則將所述人聲聲道音頻流數(shù)據(jù)歸一化至第二預(yù)設(shè)幅值范圍內(nèi)，以更新所述人聲聲道音頻流數(shù)據(jù)；將所述噪聲聲道音頻流數(shù)據(jù)歸一化至第三預(yù)設(shè)幅值范圍內(nèi)，以更新所述噪聲聲道音頻流數(shù)據(jù)，其中，所述第二預(yù)設(shè)幅值范圍大于所述第三預(yù)設(shè)幅值范圍。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)預(yù)先訓(xùn)練的人聲檢測(cè)模型檢測(cè)所有聲道的音頻流數(shù)據(jù)的類(lèi)型，包括：

通過(guò)基于高斯概率密度函數(shù)的GMM模型、基于向量機(jī)的SVM模型、基于神經(jīng)網(wǎng)絡(luò)的DNN模型或基于卷積神經(jīng)網(wǎng)絡(luò)的CNN模型中的一種算法訓(xùn)練所述人聲檢測(cè)模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成人聲混音數(shù)據(jù)，包括：

通過(guò)線(xiàn)性混音對(duì)所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成人聲混音數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述噪聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成噪聲混音數(shù)據(jù)，包括：

通過(guò)線(xiàn)性混音對(duì)所述噪聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成噪聲混音數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音，生成人聲混音數(shù)據(jù)，包括：

求取每個(gè)人聲聲道音頻流數(shù)據(jù)的幅值或者能量的波形包絡(luò)線(xiàn)強(qiáng)度；

根據(jù)每個(gè)人聲聲道音頻流數(shù)據(jù)的波形包絡(luò)線(xiàn)強(qiáng)度在所有人聲聲道音頻流數(shù)據(jù)的波形包絡(luò)線(xiàn)強(qiáng)度之和中的比重分配該人聲聲道音頻流數(shù)據(jù)的混音權(quán)重，且所述混音權(quán)重與所述比重的正相關(guān)度在預(yù)設(shè)范圍內(nèi)；

根據(jù)每個(gè)人聲聲道音頻流數(shù)據(jù)與該音頻流數(shù)據(jù)對(duì)應(yīng)的混音權(quán)重進(jìn)行混音，生成人聲混音數(shù)據(jù)。

6.一種混音裝置，其特征在于，包括：

音頻流接收模塊，用于接收至少兩路聲道的音頻流數(shù)據(jù)；

人聲檢測(cè)模塊，用于通過(guò)預(yù)先訓(xùn)練的人聲檢測(cè)模型檢測(cè)所有聲道的音頻流數(shù)據(jù)的類(lèi)型，以識(shí)別出人聲聲道音頻流數(shù)據(jù)和噪聲聲道音頻流數(shù)據(jù)；

人聲混音數(shù)據(jù)生成模塊，用于將所述人聲聲道音頻流數(shù)據(jù)進(jìn)行混音；

噪聲混音數(shù)據(jù)生成模塊，用于將所述噪聲聲道音頻流數(shù)據(jù)進(jìn)行混音；

結(jié)果混音數(shù)據(jù)生成模塊，用于將所述人聲混音數(shù)據(jù)與所述噪聲混音數(shù)據(jù)進(jìn)行混音，生成結(jié)果混音數(shù)據(jù)；

調(diào)整模塊，用于判斷人聲聲道音頻流數(shù)據(jù)是否小于預(yù)設(shè)調(diào)整幅值；

若是，則將人聲聲道音頻流數(shù)據(jù)歸一化至第一預(yù)設(shè)幅值范圍，生成歸一化后的人聲聲道音頻流數(shù)據(jù)；

或，用于判斷人聲聲道音頻流數(shù)據(jù)的幅值與噪聲聲道音頻流數(shù)據(jù)的幅值之差是否在預(yù)設(shè)幅值差范圍內(nèi)；若是，則將人聲聲道音頻流數(shù)據(jù)歸一化至第二預(yù)設(shè)幅值范圍內(nèi)，以更新人聲聲道音頻流數(shù)據(jù)；將噪聲聲道音頻流數(shù)據(jù)歸一化至第三預(yù)設(shè)幅值范圍內(nèi)，以更新噪聲聲道音頻流，其中，第二預(yù)設(shè)幅值范圍大于第三預(yù)設(shè)幅值范圍。

7.一種混音設(shè)備，包括：包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～5中任一所述的混音方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～5中任一所述的混音方法。