[發明專利]一種目標域音頻訓練數據的獲取方法及裝置

在審

• 申請號: 202210121323.0
• 申請日: 2022-02-09
• 公開（公告）號: CN114387957A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 黎子駿;馬金龍;王偉喆;吳文亮;曾銳鴻;熊佳;盤子圣;羅簫;焦南凱;徐志堅;謝睿;陳光堯
• 申請（專利權）人: 廣州歡城文化傳媒有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G10L19/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉思言

1.一種目標域音頻訓練數據的獲取方法，其特征在于，包括：

獲取已訓練的源域語音識別模型，以及不帶聲音事件標簽的目標域音頻數據，所述源域語音識別模型處理的音頻數據的長度為源域數據長度；

將所述目標域音頻數據編輯至所述源域數據長度，得到編輯后的音頻數據；

將所述編輯后的音頻數據輸入至所述源域語音識別模型，得到模型輸出的所述編輯后的音頻數據的聲音事件標簽；

將確定有聲音事件標簽的音頻數據編輯至所述目標域音頻數據的數據長度，得到目標域音頻訓練數據。

2.根據權利要求1所述的方法，其特征在于，將所述目標域音頻數據編輯至所述源域數據長度，得到編輯后的音頻數據，包括：

若所述目標域音頻數據的數據長度不大于所述源域數據長度，對所述目標域音頻數據填充空白音頻至所述源域數據長度，得到數據長度為源域數據長度的目標域音頻數據；

若所述目標域音頻數據的數據長度大于所述源域數據長度，將所述目標域音頻數據切分為數據長度為所述源域數據長度的若干條子音頻數據，得到數據長度為源域數據長度的目標域音頻數據。

3.根據權利要求2所述的方法，其特征在于，所述將確定有聲音事件標簽的音頻數據編輯至所述目標域音頻數據的數據長度，得到目標域音頻訓練數據，包括：

若所述目標域音頻數據的數據長度不大于所述源域數據長度，對確定有聲音事件標簽的音頻數據刪除空白音頻，得到數據長度為所述目標域音頻數據的數據長度的音頻數據，作為目標域音頻訓練數據；

若所述目標域音頻數據的數據長度大于所述源域數據長度，將確定有聲音事件標簽的音頻數據，填充空白音頻至所述目標域音頻數據的數據長度，得到數據長度為所述目標域音頻數據的數據長度的音頻數據，作為目標域音頻訓練數據。

4.根據權利要求1所述的方法，其特征在于，還包括：

獲取帶有聲音事件標簽的源域音頻數據，所述源域音頻數據的數據長度為所述源域數據長度；

若所述源域音頻數據的數據長度不大于所述目標域音頻數據的數據長度，對所述源域音頻數據填充空白音頻至所述目標域音頻數據的數據長度，得到數據長度為目標域音頻數據的數據長度的音頻數據，作為目標域音頻訓練數據。

5.根據權利要求4所述的方法，其特征在于，還包括：

若所述源域音頻數據的數據長度大于所述目標域音頻數據的數據長度，將所述源域數據切分為數據長度為所述目標域音頻數據的數據長度的若干條子音頻數據；

對所述若干條子音頻數據填充空白音頻至所述源域數據長度，并將填充后的音頻數據輸入至所述源域語音識別模型，得到模型輸出的填充空白音頻后的音頻數據的聲音事件標簽；

對確定有聲音事件標簽的音頻數據刪除空白音頻，得到數據長度為所述目標域音頻數據的數據長度的音頻數據，并作為目標域音頻訓練數據。

6.根據權利要求1-5任一項所述的方法，其特征在于，在所述獲取不帶聲音事件標簽的目標域音頻數據之后，還包括：

利用所述目標域音頻數據訓練得到目標域語音識別主干網絡；

利用所述目標域音頻訓練數據訓練包含所述目標域語音識別主干網絡的目標域語音識別模型。

7.根據權利要求6所述的方法，其特征在于，利用所述目標域音頻數據訓練得到目標域語音識別主干網絡，包括：

將所述目標域音頻數據轉換為目標域語音頻譜圖，將所述目標域語音頻譜圖輸入至已有的語音頻譜編碼器，得到語音頻譜編碼器輸出的編碼數據；

將所述編碼數據解碼，得到重構語音頻譜圖，所述重構語音頻譜圖的行、列數與所述目標域語音頻譜圖的行、列數相同；

計算所述目標域語音頻譜圖與所述重構語音頻譜圖之間的均方誤差；

將所述均方誤差反饋至所述語音頻譜編碼器，以供所述語音頻譜編碼器調整編碼方式，直至均方誤差滿足設定收斂條件為止，將最終調整后的語音頻譜編碼器作為目標域語音識別主干網絡。