[發明專利]一種音頻信號處理的方法及裝置

有效

• 申請號: 201911072753.2
• 申請日: 2019-11-05
• 公開（公告）號: CN110782908B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 盤子圣;丁寧
• 申請（專利權）人: 廣州歡聊網絡科技有限公司
• 主分類號: G10L19/02
• 分類號: G10L19/02;G10L25/03;G10L25/30;G10L25/45;G10L25/51;G10L25/87
• 代理公司: 廣州佳睿知識產權代理事務所(普通合伙) 44610
• 代理人: 李健富

1.一種音頻信號處理的方法，其特征在于，所述方法包括：

獲取原唱音頻信號以及模仿音頻信號；

分別對所述原唱音頻信號以及所述模仿音頻信號進行特征提取，獲取所述原唱音頻信號對應的第一特征幀序列，以及，所述模仿音頻信號對應的第二特征幀序列；

將所述第二特征幀序列與所述第一特征幀序列進行幀對齊，生成幀對齊序列；

檢測所述第一特征幀序列對應的第一音節起始點序列，以及，所述第二特征幀序列對應的第二音節起始點序列；

基于所述第一音節起始點序列以及所述第二音節起始點序列，對所述幀對齊序列進行調整；

采用調整后的幀對齊序列對所述模仿音頻信號進行音頻波形重建，并根據重建得到的音頻波形數據生成用于輸出的目標音頻。

2.根據權利要求1所述的方法，其特征在于，所述檢測所述第一特征幀序列對應的第一音節起始點序列，以及，所述第二特征幀序列對應的第二音節起始點序列，包括：

分別將所述第一特征幀序列以及所述第二特征幀序列輸入已訓練的深度神經網絡模型，并獲取所述深度神經網絡模型分別輸出的所述第一特征幀序列及所述第二特征幀序列中各幀為音節起始點的概率；

根據所述第一特征幀序列中各幀為音節起始點的概率，生成第一音節起始點概率曲線；

根據所述第二特征幀序列中各幀為音節起始點的概率，生成第二音節起始點概率曲線；

對所述第一音節起始點概率曲線進行峰值檢測，并根據檢測出的峰值結果生成第一音節起始點序列；

對所述第二音節起始點概率曲線進行峰值檢測，并根據檢測出的峰值結果生成第二音節起始點序列。

3.根據權利要求1或2所述的方法，其特征在于，所述基于所述第一音節起始點序列以及所述第二音節起始點序列，對所述幀對齊序列進行調整，包括：

遍歷所述第一音節起始點序列中各音節起始點，獲取該音節起始點的目標幀號；

根據所述幀對齊序列，確定與所述目標幀號對齊的對齊目標幀號；

從所述第二音節起始點序列中查找所述對齊目標幀號，以確定與所述對齊目標幀號距離最近的目標音節起始點；

若所述目標音節起始點所在的幀號與所述對齊目標幀號的距離在預設距離范圍內，則將所述幀對齊序列中的所述對齊目標幀號調整為目標音節起始點所在的幀號；

以調整后的所述對齊目標幀號為中心，對前后預設范圍內的對齊幀號進行平滑處理。

4.根據權利要求1所述的方法，其特征在于，所述采用調整后的幀對齊序列對所述模仿音頻信號進行音頻波形重建，包括：

獲取所述模仿音頻信號的波形數組；

根據調整后的幀對齊序列的長度，創建目標波形數組，所述目標波形數組中的長度為與所述調整后的幀對齊序列的長度相關，所述目標波形數組中的初始值均為第一預設值；

根據所述模仿音頻信號的波形數組、調整后的幀對齊序列的第一個元素值以及指定的漢明窗，確定所述目標波形數組中第一幀對應的目標窗數據，并將所述目標波形數組中第一幀的第一預設值更新為所述目標窗數據；

根據所述模仿音頻信號的波形數組以及調整后的幀對齊序列的第一個元素值，確定所述目標波形數組中第一幀對應的自相關窗變量值；

遍歷所述調整后的幀對齊序列的第二個元素值至第N個元素值，結合上一幀確定的自相關窗變量值確定所述目標波形數組中第二幀開始的各幀的最佳起始拼接點，其中，所述幀對齊序列的長度為N；

根據各幀對應的最佳起始拼接點，確定該幀以該最佳起始拼接點為起點的窗數據，以及，對上一幀得到的自相關窗變量值進行更新；

以各幀對應的窗數據更新所述目標波形數組對應的元素值。