[發明專利]一種自動修音系統及修音方法

在審

• 申請號: 202011128502.4
• 申請日: 2020-10-20
• 公開（公告）號: CN112447182A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 黃明飛;姚宏貴;林峰;張逸風
• 申請（專利權）人: 開放智能機器（上海）有限公司
• 主分類號: G10L21/007
• 分類號: G10L21/007;G10L25/03;G10L25/27;G10H1/36;G10H1/40
• 代理公司: 上海申新律師事務所 31272
• 代理人: 吳軼淳

1.一種自動修音系統，其特征在于，所述自動修音系統包括錄音模塊(1)、曲庫模塊(2)、音頻切分模塊(3)、特征提取模塊(4)、修音決策模塊(5)和修音實施模塊(6)，

錄音模塊(1)，用于獲取用戶演唱的實際音頻；

曲庫模塊(2)，用于獲取用戶演唱歌曲的原始標準音頻；

音頻切分模塊(3)分別連接所述錄音模塊(1)和所述曲庫模塊(2)，用于分別識別所述實際音頻和所述原始標準音頻，將識別出的所述實際音頻和識別出的所述原始標準音頻對齊后再進行切分，得到對應于所述實際音頻的多個實際音頻段以及對應于所述原始標準音頻的多個原始音頻段，所述實際音頻段與所述原始音頻段一一對應；

特征提取模塊(4)連接所述音頻切分模塊(3)，用于分別采集得到每段所述實際音頻段的實際音頻特征以及每段所述原始音頻段的原始音頻特征；

修音決策模塊(5)連接所述特征提取模塊(4)，用于針對每段所述實際音頻段，將所述實際音頻特征與對應的所述原始音頻段的所述原始音頻特征進行比對以得到特征差值，并根據所述特征差值確定所述實際音頻段的修音策略；

修音實施模塊(6)連接所述修音決策模塊(5)，用于針對每段所述實際音頻段，采用被確定的所述修音策略對所述實際音頻段進行調整，隨后拼接所有調整后的所述實際音頻段以生成并輸出修音后的音頻。

2.根據權利要求1所述一種自動修音系統，其特征在于，所述修音決策模塊(5)中預先訓練形成一修音決策模型，所述修音決策模型關聯于多個修音策略；

則所述修音決策模塊(5)將所述特征差值輸入至所述修音決策模型中得到所述修音策略。

3.根據權利要求2所述一種自動修音系統，其特征在于，還包括：

策略選擇和自定義模塊(7)，所述策略選擇和自定義模塊(7)中預設有多個所述修音策略，并提供給用戶對所述修音策略進行編輯和/或添加新的所述修音策略；

學習模塊(8)，分別連接所述修音決策模塊(5)和所述策略選擇和自定義模塊(7)，用于接收用戶對所述修音策略進行編輯和/或添加的結果，并根據結果對所述修音決策模型進行訓練，以將所述修音決策模型與被編輯和/或修改的所述修音策略進行關聯。

4.根據權利要求2所述一種自動修音系統，其特征在于，每個所述修音策略中包括對應的修音調整系數；

則所述修音實施模塊(6)根據被確定的所述修音策略，采用對應的所述修音調整系數對所述實際音頻段進行調整。

5.根據權利要求1所述一種自動修音系統，其特征在于，所述音頻切分模塊(3)具體包括：

音頻對齊單元(3-1)，用于將所述實際音頻和所述原始標準音頻進行對齊，輸出對齊結果；

音頻切分單元(3-2)，連接所述音頻對齊單元(3-1)，用于根據所述對齊結果，分別對所述實際音頻和所述原始標準音頻進行切分，以得到多個所述實際音頻段以及多個所述原始音頻段。

6.根據權利要求5所述一種自動修音系統，其特征在于，所述音頻對齊單元(3-1)具體包括：

語音識別部件(3-1-1)，用于對所述實際音頻和所述原始標準音頻分別進行語音識別，并根據語音識別的結果對所述實際音頻進行對齊，并輸出初步對齊結果；

歌詞獲取部件(3-1-2)，用于獲取所述實際音頻的標準歌詞；

輔助對齊切分部件(3-1-3)，分別連接所述語音識別部件(3-1-1)和所述歌詞獲取部件(3-1-2)，用于根據所述標準歌詞對所述初步對齊結果進行輔助對齊，以形成所述對齊結果并輸出。

7.根據權利要求5所述一種自動修音系統，其特征在于，所述音頻切分單元(3-2)具體包括：

字詞切分部件(3-2-1)，所述字詞切分單元中預先設置有字詞模型，所述字詞切分部件(3-2-1)用于采用所述字詞模型，詞組或者字或者音素的切分標準分別對對齊后的所述實際音頻和所述原始標準音頻進行切分，以得到多個所述實際音頻段以及多個所述原始音頻段。