[發明專利]基于場景識別的語音處理方法及其裝置、介質和系統

在審

• 申請號: 202010043607.3
• 申請日: 2020-01-15
• 公開（公告）號: CN113129917A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 李峰;劉鎮億;玄建永
• 申請（專利權）人: 榮耀終端有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L25/51;G10L25/57;G10L25/30;H04N21/439;H04N21/44;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 上海音科專利商標代理有限公司 31267
• 代理人: 夏峰

本申請涉及人工智能領域，公開了一種基于場景識別的語音處理方法及其裝置、介質和系統。本申請的基于場景識別的語音處理方法包括：在檢測到電子設備進行視頻錄入的情況下，獲取當前錄入的視頻中的圖像數據和音頻數據；對圖像數據和音頻數據進行特征提取，得到圖像數據的圖像特征和音頻數據的音頻特征；對提取出來的圖像特征和音頻特征進行識別，識別出電子設備當前錄入視頻所處的場景類別；基于識別出的場景類別，對電子設備實時錄入的視頻中的音頻數據進行處理，并輸出處理后的音頻數據和對應的圖像數據。

技術領域

本申請涉及人工智能領域，特別涉及一種基于場景識別的語音處理方法及其裝置、介質和系統。

背景技術

在利用錄像設備進行錄像、視頻直播或視頻通話時，因錄像設備所處的環境不同，麥克風采集到的環境噪聲差異較大，對目標聲音的影響也不同。但是，目前業界對錄像設備采集的音頻的降噪，僅僅基于音頻或者圖像進行場景判斷，對于不同的場景，例如：室內，演播廳，馬路上，車里，海邊，餐廳等，聲音種類存在隨機性和偶然性，很難準確識別聲音種類，且容易造成對場景的誤判，準確率低，用戶體驗較差。

發明內容

本申請實施例提供了一種基于場景識別的語音處理方法及其裝置、介質和系統。

第一方面，本申請實施例提供了一種于場景識別的語音處理方法，所述方法包括：

在檢測到所述電子設備進行視頻錄入的情況下，獲取當前錄入的視頻中的圖像數據和音頻數據；對所述圖像數據和音頻數據進行特征提取，得到所述圖像數據的圖像特征和所述音頻數據的音頻特征；對提取出來的所述圖像特征和音頻特征進行識別，識別出所述電子設備當前錄入視頻所處的場景類別；基于識別出的場景類別，對所述電子設備實時錄入的視頻中的音頻數據進行處理，并輸出處理后的音頻數據和對應的圖像數據。如此，基于圖像特征和音頻特征一起進行識別，識別出的場景類型更加準確，避免僅僅通過圖像特征或語音特征進行識別而造成的場景誤判，提交場景識別準確率。另外，根據識別出的場景類別，對電子設備實時錄入的視頻中的音頻數據進行處理，可以達到每個場景的最優體驗，避免對不同場景下的音頻數據都進行同樣的處理，而出現的損傷或誤處理問題。

在上述第一方面的一種可能的實現中，上述方法還包括：所述對所述圖像數據和音頻數據進行特征提取，得到所述圖像數據的圖像特征和所述音頻數據的音頻特征，包括：

對所述圖像數據進行結構化處理得到所述圖像數據的圖像特征，并且對所述音頻數據進行傅里葉變換得到所述音頻數據的音頻特征。在一些實施例中，可以通過三維卷積神經網絡模型對樣本圖像進行特征提取。在一些實施例中，還可以在對音頻數據進行傅里葉變換之前對音頻數據進行預加重、分幀等預處理。

在上述第一方面的一種可能的實現中，上述方法還包括：所述基于識別出的場景類別，對所述電子設備實時錄入的視頻中的音頻數據進行處理，并輸出處理后的音頻數據和對應的圖像數據，包括：

基于識別出的場景類別，選擇與所述場景類別對應的降噪處理算法、均衡處理方式、自動增益控制方式和動態范圍控制方式；基于選擇出的降噪處理算法、均衡處理方式、自動增益控制方式和動態范圍控制方式對所述電子設備實時錄入的視頻中的音頻數據進行處理；輸出處理后的音頻數據和對應的圖像數據。在一些實施例中，當識別出場景類別后，可以根據需要選擇與場景類別對應的上述處理方法中的其中一種或幾種。

在上述第一方面的一種可能的實現中，上述方法還包括：所述電子設備進行視頻錄入的情況包括：視頻拍攝、視頻直播或視頻通話。

在上述第一方面的一種可能的實現中，上述方法還包括：確定出所述電子設備進行視頻錄入的情況為視頻直播或者視頻通話；

基于當前錄入的視頻中的音頻數據，識別出進行視頻直播或者視頻通話的用戶的人聲；并且

所述基于識別出的場景類別，對所述電子設備實時錄入的視頻中的音頻數據進行處理，并輸出處理后的音頻數據和對應的圖像數據，包括：