[發明專利]音頻數據的預訓練、模型訓練方法、裝置、設備及介質有效

申請號：	202010733155.1	申請日：	2020-07-27
公開（公告）號：	CN111899759B	公開（公告）日：	2021-09-03
發明（設計）人：	張睿雄;鄒偉;李先剛	申請（專利權）人：	北京嘀嘀無限科技發展有限公司
主分類號：	G10L25/03	分類號：	G10L25/03;G10L19/16;G06N3/08;G06N3/04;G06K9/62
代理公司：	北京超成律師事務所 11646	代理人：	裴素英
地址：	100193 北京***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	音頻數據訓練模型方法裝置設備介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本申請提供一種音頻數據的預訓練、模型訓練方法、裝置、設備及介質，涉及音頻處理技術領域。該方法包括：預訓練模型包括：掩碼層、第一編碼層以及第一前饋層，所述方法包括：采用所述掩碼層，對樣本音頻數據進行掩碼處理，得到掩碼聲學特征；采用所述第一編碼層對所述掩碼聲學特征進行所述第一編碼層對應音頻任務的編碼處理；采用所述第一前饋層對所述編碼處理后的聲學特征進行掩碼重構處理，得到重構預測結果；根據所述重構預測結果，對所述掩碼層的掩碼參數進行更新，得到目標預訓練模型。相對于現有技術，避免了由于樣本音頻數據質量不高等問題，導致學習到的音頻表示的魯棒性不足的問題。

技術領域

本申請涉及音頻分析技術領域，具體而言，涉及一種音頻數據的預訓練、模型訓練方法、裝置、設備及介質。

背景技術

現代社會中海量的音頻數據充斥在人們的日常生活和工作當中，音頻數據的計算分析逐漸成為相關領域的核心問題，相關的研究和應用越來越多，音頻數據分析的核心在于音頻表示學習，音頻表示學習的目的是將初始的或經過簡單加工的音頻特征轉換成更高級的特征，從而使后續的音頻任務更容易訓練。因此，更具魯棒性和通用性的音頻表示能顯著提升音頻任務的表現。其中，音頻任務包括的類型例如可以為：基于內容的音頻檢索，魯棒性語音識別，智能安防監控以及無人駕駛等。

音頻數據是一段具有時間順序的序列化數據，提取其中的動態時序信息對于音頻表示學習具有非常重要的意義。現有技術中一般將基于深度學習的方法應用于音頻特征表示，例如深度神經網絡(Deep Neural Networks，DNN)和深度卷積網絡(ConvolutionalNeural Networks，CNN)。

但是由于音頻落地的場景豐富，相應的任務類型豐富，對于有些音頻任務，可能由于樣本音頻數據質量不高，或樣本音頻數據數量不足的問題，導致學習到的音頻表示的魯棒性不足，最終影響模型的處理精度。

發明內容

有鑒于此，本申請的目的在于提供一種音頻數據的預訓練、模型訓練方法、裝置、設備及介質，能夠解決現有技術中由于樣本音頻數據質量不高所導致的學習到的音頻表示的魯棒性不足的問題，達到提高模型學習到的音頻表示的魯棒性，從而提高模型后續處理精度的作用。

在本申請的第一方面，本申請提供一種預訓練模型的訓練方法，所述預訓練模型包括：掩碼層、第一編碼層以及第一前饋層，所述方法包括：

采用所述掩碼層，對樣本音頻數據進行掩碼處理，得到掩碼聲學特征；

采用所述第一編碼層對所述掩碼聲學特征進行所述第一編碼層對應音頻任務的編碼處理；

采用所述第一前饋層對所述編碼處理后的聲學特征進行掩碼重構處理，得到重構預測結果；

根據所述重構預測結果，對所述掩碼層的掩碼參數進行更新，得到目標預訓練模型。

可選地，所述掩碼參數包括：預設幀數；所述對樣本音頻數據進行掩碼處理，得到掩碼聲學特征，包括：

根據所述預設幀數，對所述樣本音頻數據進行分片處理，得到所述樣本音頻數據的多個分片，每個分片的幀數為所述預設幀數；

從所述多個分片中確定目標分片；

對所述目標分片進行掩碼處理，得到所述掩碼聲學特征。