[發(fā)明專利]基于重采樣加速計(jì)算的修正音頻的音高及音色的方法及裝置

在審

• 申請?zhí)枺?/td>: 202210456625.3
• 申請日: 2022-04-28
• 公開（公告）號: CN114822580A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 張超;朱潔
• 申請（專利權(quán)）人: 北京奇音妙想科技有限公司
• 主分類號: G10L21/0232
• 分類號: G10L21/0232;G10L21/0264;G10L21/007
• 代理公司: 北京市銘盾律師事務(wù)所 11763
• 代理人: 常春

本發(fā)明公開了基于重采樣加速計(jì)算修正音頻內(nèi)容音高及音色的方法，其包括獲取所述音頻的基頻序列，基于所述基頻序列獲取所述音頻的原始音高序列；基于獲取到的音高序列構(gòu)建需要調(diào)整的基頻序列數(shù)組；基于音頻總時長建立基頻數(shù)組映射關(guān)系數(shù)組；基于對比結(jié)果進(jìn)行重采樣加速計(jì)算的方法計(jì)算時間步長傳入音頻序列；獲取所述音頻進(jìn)行修正得到修正后的音頻的步驟。本申請還公開了對應(yīng)的修正音頻的音高的裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及音頻信號處理領(lǐng)域，具體而言，涉及一種基于重采樣修正音頻內(nèi)容音高及音色的方法及裝置。

背景技術(shù)

早在1998年，美國埃克森美孚公司的電器工程師Harold Hildebrand發(fā)明了一項(xiàng)自動矯正音高的技術(shù)專利，并且把該項(xiàng)專利移交了Antares Audio Technologies公司，該項(xiàng)專利經(jīng)過產(chǎn)品包裝后推出產(chǎn)品為Auto-tune。自此開始，一直用于唱片業(yè)和現(xiàn)代音樂文化，該項(xiàng)專利呈現(xiàn)的效果不僅更改了音頻的音高信息，并且對音色也形成了一定的渲染左右，形成了唱片業(yè)經(jīng)典的“電音音色”。

隨著技術(shù)的進(jìn)步，利用自相關(guān)函數(shù)提取基頻方式已不是最佳提取基頻的技術(shù)方案，在準(zhǔn)確度和提取速度上存在不足；而Auto-Tune產(chǎn)品雖經(jīng)過二十年技術(shù)沉淀，但至今無適配于移動端的產(chǎn)品出現(xiàn)，難以滿足移動端音色矯正和音色更改的需求。在移動互聯(lián)網(wǎng)時代，國內(nèi)移動互聯(lián)網(wǎng)公司沒有實(shí)現(xiàn)過該類音色效果，現(xiàn)階段國內(nèi)移動互聯(lián)網(wǎng)公司的技術(shù)替代方案有兩種：1)基于傳統(tǒng)算法Psola實(shí)現(xiàn)音高矯正或電音類效果，但由于Psola算法底層技術(shù)的局限性，無法在本質(zhì)上解決音頻幀抖動的問題，且與唱片業(yè)經(jīng)典的“電音音色”存在一些差別；2)利用深度學(xué)習(xí)方式進(jìn)行音高矯正，但該類技術(shù)呈現(xiàn)音色效果與Auto-tune系列產(chǎn)品存在較多的音色差別，并非唱片業(yè)經(jīng)典的“電音音色”。

發(fā)明內(nèi)容

本發(fā)明的目的之一是提供一種可對音頻進(jìn)行包括“電音音色”在內(nèi)的音高和音色進(jìn)行修正的方法。

為此，一種基于重采樣加速計(jì)算的修正音頻的音高及音色的方法，其包括步驟：利用DIO算法獲取待修正音頻的原始基頻序列；基于所述原始基頻序列自定義設(shè)定所述待修正音頻的目標(biāo)基頻序列；基于所述待修正音頻的總采樣點(diǎn)數(shù)量修正所述原始基頻序列和所述目標(biāo)基頻序列以分別與所述待修正音頻的音頻數(shù)組對齊；對所述原始基頻序列和所述目標(biāo)基頻序列進(jìn)行跟蹤對比得到所述待修正音頻的不同基頻部分對應(yīng)的重采樣采樣率；根據(jù)所述重采樣采樣率對所述待修正音頻進(jìn)行重采樣計(jì)算得到修正后的音頻數(shù)組；以及基于所述修正后的音頻數(shù)組形成修正后的音頻。

在一些實(shí)施例中，所述利用DIO算法獲取所述音頻的基頻序列包括：首先使用不同截止頻率的低通濾波器對所述音頻進(jìn)行濾波；如果濾波后的信號只包含一個周期的信號即確定為基音周期；然后，為每個濾波后的周期信號計(jì)算基頻候選以及置信度；最后，選取置信度最高的頻率作為基頻。

在一些實(shí)施例中，使用不同離散度的低通濾波器進(jìn)行濾波。

在一些實(shí)施例中，舍棄基頻提取結(jié)果中的離散點(diǎn)。

在一些實(shí)施例中，對置信度進(jìn)行二次修正計(jì)算，加權(quán)重信息后作為最后的音高。

在一些實(shí)施例中，對絕對響度小于某個閾值的音頻進(jìn)行過濾，對該部分音頻不做處理。

在一些實(shí)施例中，所述基于所述基頻序列自定義設(shè)定待修改音頻的目標(biāo)基頻序列包括：以基頻序列的數(shù)組形式給出的所述目標(biāo)基頻序列；和/或以絕對音高的數(shù)組形式給出的所述目標(biāo)基頻序列；和/或以不同時間間隔給出的所述目標(biāo)基頻序列。

在一些實(shí)施例中，所述基于待修正音頻總采樣點(diǎn)數(shù)量修正所述原始基頻序列和所述目標(biāo)基頻序列包括：根據(jù)所述原始基頻序列以及所述目標(biāo)基頻序列和所述待修正音頻在時間軸上的時間點(diǎn)的對應(yīng)關(guān)系，將所述原始基頻序列以及所述目標(biāo)基頻序列分別投影到所述待修正音頻的所有采樣點(diǎn)上，分別形成和所述待修正音頻的所有采樣點(diǎn)對應(yīng)的數(shù)組。