[發明專利]音頻數據的預訓練、模型訓練方法、裝置、設備及介質

有效

• 申請號: 202010733155.1
• 申請日: 2020-07-27
• 公開（公告）號: CN111899759B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張睿雄;鄒偉;李先剛
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G10L25/03
• 分類號: G10L25/03;G10L19/16;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京超成律師事務所 11646
• 代理人: 裴素英

1.一種預訓練模型的訓練方法，其特征在于，所述預訓練模型包括：掩碼層、第一編碼層以及第一前饋層，所述方法包括：

采用所述掩碼層，對樣本音頻數據進行掩碼處理，得到掩碼聲學特征；

采用所述第一編碼層對所述掩碼聲學特征進行所述第一編碼層對應音頻任務的編碼處理；

采用所述第一前饋層對所述編碼處理后的聲學特征進行掩碼重構處理，得到重構預測結果；

根據所述重構預測結果，對所述掩碼層的掩碼參數進行更新，得到目標預訓練模型；所述掩碼參數包括下述至少一項：連續掩碼幀數和/或掩碼幀數占樣本音頻數據總幀數的比例。

2.如權利要求1所述的方法，其特征在于，所述掩碼參數包括：預設幀數；所述對樣本音頻數據進行掩碼處理，得到掩碼聲學特征，包括：

根據所述預設幀數，對所述樣本音頻數據進行分片處理，得到所述樣本音頻數據的多個分片，每個分片的幀數為所述預設幀數；

從所述多個分片中確定目標分片；

對所述目標分片進行掩碼處理，得到所述掩碼聲學特征。

3.根據權利要求2所述的方法，其特征在于，所述掩碼參數還包括：預設比例；所述從所述多個分片中確定目標分片，包括；

根據所述預設比例，從所述分片中確定所述預設比例的分片為所述目標分片。

4.如權利要求1-3中任一所述的方法，其特征在于，所述根據所述重構預測結果，對所述掩碼層的掩碼參數進行更新，得到目標預訓練模型，包括：

根據所述重構預測結果，計算所述預訓練模型的損失值；

根據所述損失值對所述掩碼參數進行更新，直至基于更新后的所述掩碼參數得到的損失值最小，得到所述目標預訓練模型。

5.一種音頻數據的預訓練方法，其特征在于，所述方法包括：

獲取樣本音頻數據；

采用預訓練模型對所述樣本音頻數據進行預訓練，得到所述預訓練模型輸出的預訓練后的音頻數據；

其中，所述預訓練模型為采用上述權利要求1-4中任一方式進行訓練得到的模型，所述預訓練后的音頻數據為所述預訓練模型中所述第一編碼層輸出的編碼后的音頻數據，用以訓練預設音頻任務模型。

6.一種音頻任務模型的訓練方法，其特征在于，所述音頻任務模型包括：第二編碼層、解碼層和第二前饋層；所述方法包括：

獲取樣本音頻數據；

采用預訓練模型對所述樣本音頻數據進行預訓練，得到所述預訓練模型輸出的預訓練后的音頻數據；所述預訓練模型采用上述權利要求1-4中任一方式進行訓練得到的模型，所述預訓練后的音頻數據為所述預訓練模型中所述第一編碼層輸出的編碼后的音頻數據；

采用所述第二編碼層，對所述預訓練后的音頻數據以及所述樣本音頻數據進行預設音頻任務的編碼處理；

采用所述解碼層對所述編碼處理后的音頻數據進行所述預設音頻任務對應的解碼處理；

采用所述第二前饋層對所述解碼處理后的音頻數據進行處理，得到所述預設音頻任務的目標預測結果；

根據所述目標預測結果，對所述第二編碼層和所述解碼層的參數進行更新，得到目標音頻任務模型。

7.如權利要求6所述的方法，其特征在于，所述解碼層為所述預設音頻任務對應輸出結果的類型對應的解碼層。

8.如權利要求7所述的方法，其特征在于，若所述預設音頻任務對應輸出結果為音頻序列，則所述解碼層為變換解碼層；或者，

若所述預設音頻任務對應輸出結果為標簽類別，則所述解碼層為平均池化層。

9.如權利要求6-8中任一所述的方法，其特征在于，所述預設音頻任務為：語音翻譯任務、語音情緒識別任務，或者，音頻場景分類任務。