[發明專利]基于聯合深度神經網絡的端點檢測方法及系統

在審

• 申請號: 202011397477.X
• 申請日: 2020-12-04
• 公開（公告）號: CN112735482A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 珠海億智電子科技有限公司
• 主分類號: G10L25/87
• 分類號: G10L25/87;G10L25/30;G10L25/24
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 張龍哺

1.一種基于聯合深度神經網絡的端點檢測方法，其特征在于，包括以下步驟：

S100，基于開源音頻數據集獲取音頻及第一幀級別標簽，對所述音頻進行混合加噪得到第一音頻數據，以及，錄制真實場景聲音，得到第二音頻數據，并進行分段標記，得到分段標簽；

S200，將所述第一音頻數據及第一幀級別標簽作為第一訓練數據，將所述第二音頻數據及所述分段標簽作為第二訓練數據，輸入至第一神經網絡中進行訓練，得到第一階段網絡模型；

S300，通過所述第一階段網絡模型得到所述第二音頻數據相應的第二幀級別標簽，將所述第二音頻數據及所述第二幀級別標簽輸入到第二神經網絡中進行訓練，得到第二階段網絡模型；

S400，基于所述第一階段網絡模型及所述第二階段網絡模型，對音頻信號進行端點檢測。

2.根據權利要求1所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，所述步驟S100包括：

S110，基于開源音頻數據集獲取所述音頻，進行加窗分幀處理，根據預設能量閾值逐幀進行標記，獲得所述第一幀級別標簽，并按比例將所述音頻進行混合加噪處理，得到所述第一音頻數據；

S120，對所述第二音頻數據按固定時長進行分段，判斷每一分段是否存在人類語音信息，根據判斷結果得到所述分段標簽。

3.根據權利要求2所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，所述步驟S200包括：

S210，對所述第一音頻數據及所述第二音頻數據，按照預設幀長及預設幀間隔進行加窗分幀處理，提取每幀的M階MEL頻譜系數作為當前幀的特征，選取N幀的特征值輸入至所述第一階段網絡模型；

S220，所述第一階段網絡模型包括用于提取特征的CNN、用于特征預測的GRU及最終分類輸出的DNN，其中DNN分為兩種，分別對所述第一音頻數據及所述第二音頻數據進行相應處理并得到相應的分類數據；所述第一階段網絡模型中loss函數采用加權二分類交叉熵函數，加權系數為[w1,w2]，其中，w1表示根據所述第一音頻數據得出的所述分類數據所占權重，w2表示根據所述第一音頻數據得出的所述分類數據所占權重。

4.根據權利要求1所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，還包括：

所述第二階段網絡模型相對于第二測試集收斂，則將所述第二階段網絡模型的loss函數反饋給所述第一階段網絡模型繼續訓練；

若所述第一階段網絡模型繼續訓練后對第一測試集收斂，則繼續迭代訓練所述第二階段網絡模型，直至所述第一階段網絡模型相對于所述第一測試集及所述第二階段網絡模型相對于所述第二測試集均收斂。

5.根據權利要求1所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，還包括：

選取多個所述第二音頻數據，進行幀級別標記，得到第三音頻數據集；

將所述第三音頻數據集拆分成兩組數據集，其中一組數據集用于對所述第一階段網絡模型進行驗證測試，另一組數據集用于對所述第二階段網絡模型進行驗證測試。

6.根據權利要求1所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，所述第二階段網絡模型的卷積神經網絡中的卷積塊堆疊層數小于第一階段網絡模型的卷積神經網絡中的卷積塊堆疊層數。

7.根據權利要求1所述的基于聯合深度神經網絡的端點檢測方法，其特征在于，所述第二階段網絡模型包括用于提取特征的CNN、用于特征預測的GRU及最終分類輸出的DNN，其中DNN層采用linear和softmax，loss函數采用二分類交叉熵函數。