[發明專利]音頻敏感內容的識別方法、設備和計算機程序產品

在審

• 申請號: 202210169698.4
• 申請日: 2022-02-23
• 公開（公告）號: CN114582360A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 鄭煒喬
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L19/02
• 分類號: G10L19/02;G10L25/03;G10L25/27;G10L25/51;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 蔡抒楓

1.一種音頻敏感內容的識別方法，其特征在于，所述方法包括：

獲得待識別音頻的時頻譜圖，并將所述時頻譜圖切分為多個時頻譜圖塊；

通過經訓練的塊嵌入層獲取所述多個時頻譜圖塊各自對應的塊嵌入特征，得到多個塊嵌入特征；

將所述多個塊嵌入特征及所述多個時頻譜圖塊的切分順序信息輸入至經訓練的位置嵌入層，得到所述位置嵌入層輸出的位置嵌入特征序列；所述位置嵌入特征序列中的位置嵌入特征包含塊嵌入特征，及該塊嵌入特征對應的時頻譜圖塊在所述時頻譜圖中的位置特征；

將所述位置嵌入特征序列輸入經訓練的自注意力模型的編碼器，得到所述編碼器輸出的所述時頻譜圖的特征表示；

基于所述時頻譜圖的特征表示，識別所述待識別音頻是否包含敏感內容。

2.根據權利要求1所述的方法，其特征在于，所述將所述時頻譜圖切分為多個時頻譜圖塊，包括：

按照預設切分順序及預設重疊維度數切分所述時頻譜圖得到所述多個時頻譜圖塊；所述預設重疊維度數包括時間維度和/或頻率維度上的重疊維度數。

3.根據權利要求1所述的方法，其特征在于，所述將所述多個塊嵌入特征及所述多個時頻譜圖塊的切分順序信息輸入至經訓練的位置嵌入層，包括：

根據所述多個時頻譜圖塊的切分順序生成多個切分順序標識，并將所述多個切分順序標識對應攜帶在所述多個塊嵌入特征中；

將攜帶所述多個切分順序標識的多個塊嵌入特征輸入至所述位置嵌入層。

4.根據權利要求3所述的方法，其特征在于，所述位置嵌入層，用于根據所述多個塊嵌入特征中攜帶的多個切分順序標識，得到所述多個塊嵌入特征分別對應的多個位置特征，將相對應的塊嵌入特征及位置特征進行組合得到位置嵌入特征，根據組合得到的多個位置嵌入特征形成所述位置嵌入特征序列。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述基于所述時頻譜圖的特征表示，識別所述待識別音頻是否包含敏感內容，包括：

將所述時頻譜圖的特征表示輸入經訓練的音頻敏感內容分類器，得到所述音頻敏感內容分類器輸出的敏感內容分類標簽；

根據所述敏感內容分類標簽，確定所述待識別音頻是否包含敏感內容。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

獲取預先經過訓練的音頻分類模型，所述音頻分類模型包括塊嵌入層、位置嵌入層及自注意力模型的編碼器；

獲取音頻樣本的時頻譜圖樣本以及獲取所述音頻樣本對應的敏感內容分類標簽；

利用所述時頻譜圖樣本及所述敏感內容分類標簽對所述音頻分類模型的嵌入層、位置嵌入層、自注意力模型的編碼器以及所述音頻敏感內容分類器進行訓練。

7.根據權利要求6所述的方法，其特征在于，所述獲取所述音頻樣本對應的敏感內容分類標簽，包括：

根據所述音頻樣本是否包含敏感內容，得到所述音頻樣本的第一標簽；

根據所述音頻樣本中敏感內容占比，得到所述音頻樣本的第二標簽；

將所述第一標簽和第二標簽作為所述音頻樣本對應的敏感內容分類標簽。

8.根據權利要求6所述的方法，其特征在于，所述利用所述時頻譜圖樣本及所述敏感內容分類標簽對所述音頻分類模型的嵌入層、位置嵌入層、自注意力模型的編碼器以及所述音頻敏感內容分類器進行訓練，包括：

對所述時頻譜圖樣本進行時間維度和/或頻率維度的掩膜處理，得到所述時頻譜圖樣本的第一干擾樣本；

對所述時頻譜圖樣本進行時間維度和/或頻率維度的混合處理，得到所述時頻譜圖樣本的第二干擾樣本；

利用所述時頻譜圖樣本、第一干擾樣本、第二干擾樣本及所述敏感內容分類標簽對所述音頻分類模型的嵌入層、位置嵌入層、自注意力模型的編碼器以及所述音頻敏感內容分類器進行訓練。